토큰 먹는 하마 피하려, 코덱스 안에서 모델을 갈랐다

오후 2시 58분, 한 참여자가 사용량 관련 질문을 던졌다. 사용량이 정상적으로 리셋된 것인지, 아니면 별도의 초기화권이 쓰인 것인지 헷갈린다는 내용이었다.

"사용량이 리셋이 된건가요? 초기화권이 아니라?"

이 질문 자체가, 사용량이 왜 줄었는지 늘었는지를 이용자 입장에서 스스로 판단하기 쉽지 않다는 사정을 보여준다. 정책이 바뀐 건지, 별도로 받은 혜택이 소진된 건지조차 헷갈릴 만큼 사용량 체계가 한눈에 들어오지 않는다는 뜻이다.

두 시간쯤 뒤, 다른 참여자가 더 구체적인 질문을 얹었다. 코덱스(Codex) 사용량이 최근 많이 줄었다는 이야기가 사실인지, 클로드와 비교해도 별 차이가 없다는 말이 도는데 맞는지 물었다.

"코덱스 요즘 사용량이 많이 줄었다는데 사실인가요? 클로드랑 별 차이가 없다는거같던데요"

'그렇다더라'는 식으로 도는 이야기를 방 안에서 다시 확인하려는 질문이었다. 사용량 변화에 대한 소문이 먼저 돌고, 그 소문의 사실 여부를 실사용자에게 되묻는 흐름은 공식 공지만으로는 체감을 다 설명하지 못한다는 방증이기도 하다.

저녁 6시 2분, 이 질문에 답이 붙었다.

"클로드는 늘었고 코덱스는 sol 동작이 토큰 먹는 하마입니다 저는 주로 terra로 다 작업 하고 있어요"

클로드 쪽 사용량은 늘어난 반면, 코덱스 안에서는 특정 모델이 유독 토큰을 많이 먹는다는 답이었다. 이 참여자는 그래서 같은 코덱스 안에서도 등급이 다른 모델로 대부분의 작업을 처리하고 있다고 덧붙였다. 두 시간 전 질문이 코덱스 전체의 문제인지 묻고 있었다면, 이 답은 문제를 코덱스 전체가 아니라 그 안의 특정 모델 하나로 좁혀낸 셈이다.

이 대화는 하나의 도구 안에서도 어떤 모델 등급을 고르느냐에 따라 체감 토큰 소모가 크게 갈린다는 점을 보여준다. 사용량이 줄었다는 인상은 도구 전체의 문제라기보다, 토큰을 많이 쓰는 특정 모델을 계속 돌린 결과일 가능성을 시사한다. 같은 작업을 하더라도 어떤 등급의 모델에 맡기느냐에 따라 남는 사용량이 달라진다면, 결국 사용자 각자가 자신의 작업에 맞춰 모델을 골라 쓰는 감각을 익혀야 한다는 뜻이기도 하다.

앞서 나온 리셋과 초기화권을 둘러싼 혼란도 같은 맥락에서 다시 읽힌다. 사용량이 예상과 다르게 느껴지는 원인이 정책 변화가 아니라 어떤 모델을 얼마나 돌렸는지에 있을 수 있다는 점은, 참여자들이 겪는 체감과 실제 소모량 사이의 간극을 설명해준다. 오후 2시 58분의 막연한 혼란에서 저녁 6시 2분의 구체적인 답까지, 세 시간여에 걸쳐 오간 대화는 사용량이라는 눈에 보이지 않는 자원을 두고 이용자들이 각자의 경험을 맞춰보며 답을 찾아가는 과정으로 읽힌다.

'토큰 먹는 하마'라는 표현 자체도 눈여겨볼 만하다. 특정 모델을 콕 집어 웃음 섞인 별명을 붙였다는 것은, 이 문제가 이미 여러 차례 겪어본 익숙한 불만이었다는 정황으로 읽힌다. 새삼스러운 경고라기보다, 방 안에서 이미 다들 아는 사실을 재치 있게 짚어준 데 가까워 보인다.