제미나이 3.8과 뮤즈 스파크 1.3 — 하루 만에 두 모델 찍먹
하루 사이 새 모델이 둘 나왔습니다. 제미나이 3.8 은 전날 밤 안티그래비티에서 먼저 눈에 띄었고 아침엔 출시됐다는 반응이 이어졌으며, 메타 뮤즈 스파크 1.3 도 같은 아침에 공개됐습니다. 속도와 가격은 호평인데 평가는 갈렸습니다. 작업 반장은 페이블, 시다는 제미니로 두는 조합을 권하면서도 사이테이션 테스트는 절반이 개구라라는 지적이 나왔고, 플래시 말고 프로가 나와야 프론티어 모델과 비빈다는 의견도 있었습니다. 벤치 점수와 실사용 체감이 또 한 번 어긋난 하루였습니다.
밤에는 플래시, 아침에는 스파크
새 모델 두 개가 하루를 사이에 두고 방에 도착했다. 전날 저녁만 해도 웹에서는 아직 이전 버전이 서빙된다는 확인이 오갔고, 모델 카탈로그가 갱신되지 않는다는 불평이 붙었다. 그러다 밤이 깊어지자 안티그래비티에서 제미나이(Gemini) 3.8 플래시가 잡혔다는 목격담이 올라왔고, 먼저 써 본 참여자의 짧은 감탄이 뒤따랐다.
"와 3.8 플래시 좋네요"
"안티그래비티에 gemini 3.8 flash 떳군요"
아침에는 다른 진영의 소식이 겹쳤다. 오전 7시 무렵 메타 뮤즈 스파크 1.3 공개 소식이 링크와 함께 공유됐고, 성능이 좋다는 첫인상에 이어 최대 추론 모드는 아직 쓰기 어렵다는 단서가 붙었다. 8시 반을 넘기면서 두 모델 이름이 한 줄에 나란히 정리됐다.
"메타 뮤즈스파크1.3 나왔군요"
"하지만 뮤즈스파크 맥스 리즈닝은 지금 사용이 어렵다는군요"
"오늘은 제미니 3.8, 뮤즈 스파크 1.3 !"
반장과 시다로 나눠 쓰는 조합
실사용 배치를 어떻게 잡을지에 대한 이야기가 곧바로 이어졌다. 한 참여자는 작업의 중심은 클로드 페이블(Fable)에 두고 보조 작업을 제미나이에 맡기는 조합이 은근히 쓸 만하다고 정리했다. 그러나 같은 사람이 몇 초 뒤 인용 검증 결과를 묻는 질문에는 정반대의 답을 내놨다.
"아니요, 사이 테이션 테스트 하면 절반은 개구라"
할루시네이션 후기도 뒤따랐다. 절차를 빼먹거나 시키지 않은 것을 끼워 넣는다는 관찰이 올라왔고, 벤치마크 점수만 높은 것 아니냐는 반응이 붙었다. 오전 늦게는 코딩 벤치 결과가 좋아 보인다며 다른 클라이언트에 붙여 본 사람이 있는지 묻는 질문도 나왔다.
"3.8도 할루는 여전하네요"
"절차 빼먹고 안시킨거 넣고 ㅋㅋ"
"플래시 말고 프로"라는 요구
평가가 갈린 자리에는 급이 다른 모델을 기다린다는 요구가 있었다. 한 참여자는 경량 모델이 아니라 상위 모델이 나와야 최상위 모델들과 겨룰 수 있다고 짚었고, 지금 나온 등급으로는 경쟁 모델의 중간급에도 미치지 못한다는 아쉬움을 덧붙였다. 속도와 가격이 좋다는 평가와 급이 아쉽다는 평가가 충돌하지 않고 나란히 놓인 셈이다.
"쨈민나이 flash가 아니라 pro가 나와서... 프론티어모델이랑 비벼봐야되는데"
오후에도 여운은 남았다. 다른 진영의 모델을 두고 나사가 빠졌다는 농담이 돌았고, 이전에 다른 모델에 붙던 별명이 이번에는 제미나이 쪽으로 옮겨 갔다는 관찰이 나왔다. 그러면서도 속도만큼은 빨랐다는 인정이 함께 붙었다.
출시 주기가 검증 주기를 앞질렀다
이날 방의 대화는 두 모델의 우열보다, 검증이 따라붙을 시간이 없다는 사실을 더 선명하게 보여 준다. 공개 24시간 안에 나온 평가가 감탄과 혹평 사이를 오간 것은 사람마다 시험한 축이 달랐기 때문으로 보인다. 속도와 가격을 본 쪽은 호평했고, 인용 정확도와 절차 준수를 본 쪽은 반대 결론을 냈다.
찍먹이라는 단어가 반복해서 등장한 것도 같은 맥락으로 읽힌다. 새 모델이 나올 때마다 본격 도입 대신 짧은 시험 사용으로 대응하는 방식이 굳어지고 있고, 그 결과 방에 쌓이는 것은 종합 평가가 아니라 서로 다른 축의 단편적인 후기다. 벤치 점수와 실사용 체감이 어긋난다는 말이 이날 다시 나온 것도 이 구조와 무관하지 않아 보인다.