GPT 6.1 솔은 느림에서 너프 의심으로, 두 방의 비교 기준은 오푸스 5.5였다

10월 2일 낮, 에이전트코리아와 에르메스단은 같은 모델을 두고 따로 말을 시작해 비슷한 곳에 닿았다. GPT 6.1 솔(Sol)이 느리다는 이야기였다. 에이전트코리아에서는 14명이 39건, 에르메스단에서는 19명이 71건을 이 화제에 남겼다.

속도 불만 자체는 새롭지 않다. 전날 에르메스단에서도 6.1 솔을 패스트로 돌려도 너무 느리다는 말이 하루 종일 나왔다. 이날 달라진 점은 숫자가 붙었다는 것, 그리고 불만이 속도에서 품질로 번졌다는 것이다.

숫자가 붙은 속도, 그리고 너프 의심

에르메스단에서는 오전 10시 48분 한 참가자가 오푸스 5.5(Opus 5.5)는 80 ~ 100이 나오는데 솔은 패스트를 켜도 40 ~ 50이라고 적었다. 낮 11시 55분에는 패스트에서 50 나오던 tps가 지금은 30으로 내려갔다는 말이 이어졌고, 오후 3시 59분에는 패스트로 33tok/s가 나온다며 열받는다는 말이 나왔다. 저녁 5시 32분에는 한 참가자가 벤치마크 결과 페이블(Fable) high보다 솔 high가 중앙값 기준 2.4배 느리다고 전했다.

에이전트코리아에서는 오전 10시 53분 한 참가자가 체감 20 tok/s라고 했고, 곧이어 다른 참가자가 6.1 솔을 며칠 내내 돌려놓는데도 작업이 진전되지 않는다고 호응했다. 이 방에서 더 눈에 띈 것은 오후였다.

사고방식이 갑자기 토큰 절약식으로 바뀜

오후 1시 10분의 이 발언 뒤 10분 만에 일본어도 많이 뱉는다는 제보가 이어졌다. 솔에서 일본어가 튀어나온다는 말은 한 참가자의 제보로 나왔다. 같은 시각대에 클로드 쪽에서 영어와 중국어가 튀어나온다는 제보도 따로 올라왔는데, 이는 솔이 아닌 클로드 이야기로 별개다. 오후 3시 13분에는 6.1이 되고 느려진 게 맞을 것이라는 말이 나왔다. 너프, 곧 성능을 일부러 깎았다는 의심이 깔린 대화로 보이지만, 이를 확인할 근거는 방에 올라오지 않았다.

비교 기준은 오푸스 5.5

두 방이 겹친 지점은 비교 대상이다. 에르메스단의 속도 비교에서 솔의 상대는 오푸스 5.5와 페이블이었다. 에이전트코리아에서는 속도가 아니라 쓸 만한가를 두고 같은 모델들이 줄을 섰다. 오전 11시 페이블 주간 토큰이 끝나 오푸스가 일하는 중이라는 말이 나왔고, 한 참가자는 지금 벤치마크로는 페이블보다 오푸스가 좋다고 답했다.

opus >>> sol > fable

오전 11시 12분에 올라온 이 한 줄은 에이전트코리아 참가자의 순위표다. 오후 5시 22분에는 페이블을 쓰다 오퍼스 맥스로 바꿨더니 토큰도 남고 성능도 더 좋다는 후기가 나왔다. 이 오퍼스 맥스가 위에서 말한 오푸스 5.5와 같은 대상인지는 대화에서 확인되지 않는다.

같은 불만, 다른 결

두 방의 결은 조금 달랐다. 에르메스단은 tok/s와 tps(초당 처리하는 글자 조각 수) 같은 수치로 속도를 따졌고, 에이전트코리아는 진전이 없다, 사고방식이 바뀌었다 같은 작업 체감으로 불만을 옮겼다. 속도가 느리면 같은 일이 오래 걸릴 뿐이지만, 답변 방식이 바뀌었다는 의심은 결과물 자체를 믿어도 되는가의 문제로 이어진다.

그래서 오푸스 5.5가 비교 기준으로 반복해 불려 나온 것으로 보인다. 솔이 느리고 흔들린다는 인상이 쌓이는 동안, 오푸스 쪽은 속도(에르메스단), 성능(에이전트코리아), 토큰 여유(오퍼스 맥스 후기, 5.5와 같은 대상인지는 미확인)를 앞선다는 말이 각각 나왔다.

다만 속도 수치는 참가자별 환경과 설정에 따라 다를 수 있고, 2.4배라는 값도 방에 옮겨진 전언이다. 너프와 일본어 섞임도 소수의 제보이고, 클로드 쪽 외국어 이탈 제보는 별개다. 낮 시간 두 방에서 나온 체감이 얼마나 넓은 현상인지는 다음 대화에서 확인해야 한다.