모델 등급과 추론 강도를 일의 성격에 맞추는 기준

오후 3시 49분쯤, 에르메스단 방에서 오푸스 5.5의 효율을 체감하는 말이 나왔다(인용 속 '55푸스'는 오푸스 5.5의 줄임말이다). 한 참가자는 토큰을 많이 써도 한두 번 만에 원하는 결과가 나오니 오히려 토큰을 다 소모하지 못한다고 했다.

요즘은 진짜 55푸스가 더 효율적인것 같아요, 토큰을 많이 사용해도 거의 한두번만에 사용자가 원하는 결과가 나오니까, 오히려 토큰을 다 소모 못하네요 ㅎㅎㅎㅎㅎ

바로 이어 다른 평이 붙었다. 오푸스 5.5를 써 보는 중인데 잘하긴 하지만, 코덱스가 잘하는 영역이 분명히 따로 있는 듯하다는 것이다.

오푸스5.5 찍먹 중인데 잘하긴 잘하는데 오묘한게 Codex가 잘하는 영역이 또 분명히 있는 것 같아요

저녁의 긴 토론, 강도를 어디에 둘까

화제는 저녁에 소넷 5.5를 쓸 때 추론 강도를 어디에 두느냐로 옮겨갔다. 이 화제는 참여자 10명이 57건을 주고받은 것으로 집계되었다. 가장 구체적인 기준은 일의 성격을 판단과 작업으로 가르는 방식이었다.

전 max 는 없는 옵션이라고 생각하고 "판단" 이 주가 되는 내용이면 높은모델 xhigh "작업" 이 주가 되는 내용이면 낮은모델 쓰고있어요 잡일 (문서탐색, 자료조사) 이런건 젤 싼거 쓰구요 사실 대부분의 일은 지시만 잘 잡혀있으면 낮은 모델들도 잘 해야 정상이긴 해요

xhigh와 max는 모델이 추론에 쏟는 노력의 단계 이름이다. 이 참가자의 기준을 풀면, 판단 비중이 큰 일에는 높은 모델과 xhigh를, 작업 비중이 큰 일에는 낮은 모델을 쓰고, 문서 탐색이나 자료조사 같은 잡일에는 가장 싼 것을 쓴다는 것이다.

낮은 모델의 높은 강도는 더 비쌌다

반대편 경험도 올라왔다. 한 참가자는 고객사 요청으로 소넷 5와 opus 4.8을 벤치했던 기억을 꺼냈다.

일전 고객사 요청때문에 소넷 5 vs opus 4.8 벤치돌렸었는데 결론적으로 낮은모델 상위 effort가 더 비싸게 나왔던 경험이 생각나네요 ㅎㅎ

다른 참가자는 그 이유를 이렇게 설명했다.

낮은 모델 고추론은 멍청한애가 풀지도 못하는거 끙끙대면서 시간민 버릴 가능성이 높아서 토큰이 더 많이 소모되는 경우가 많아여

읽을거리

전날 대화 요약에는 추론 강도를 다룬 화제가 없었으므로, 이 화제는 이날 오푸스 5.5 체감 평가에서 출발해 새로 커진 것으로 보인다. 이 대화가 시사하는 것은 모델을 고르는 기준이 어느 모델이 더 좋은가에서 어떤 일에 어느 모델과 어느 강도를 붙이는가로 옮겨가고 있다는 점이다. 다만 이 사례들은 개인의 벤치와 체감이다. 같은 과제를 같은 조건으로 교차 측정한 수치는 방에 올라오지 않았으므로, 낮은 모델의 높은 강도가 더 비싸다는 이야기를 일반 법칙처럼 읽기는 어렵다.