한 사용자의 기록으로 재본 세 모델 — 솔이 28% 더 썼지만, 변수는 턴 수였다

밤 9시 57분, 한 참여자가 단순하지만 실용적인 질문을 던졌다. 이 방에서 세 모델을 부를 때 쓰는 이름인 테라·루나·솔이 실제로 토큰을 다르게 쓰는지 궁금하다는 것이었다. 체감으로는 차이가 미세하게 느껴진다는 게 질문의 배경이었다. 매달 정해진 한도 안에서 작업해야 하는 사용자에게 이 차이는 곧 이번 주에 몇 번 더 돌릴 수 있느냐의 문제로 이어진다.

답한 참여자는 먼저 전제를 분명히 했다. "실제 측정은 안해봤는데"라고 말한 뒤, 자신이 세 모델을 두루 활용해 쌓인 사용 실적이 풍부하니 그 기록으로 비교해 보겠다고 했다. 별도로 통제한 계측 실험이 아니라 축적된 사용 이력을 근거로 한 비교라는 뜻이다. 이 단서는 뒤에 나올 수치를 읽을 때 함께 기억해 둘 만하다.

한 시간 뒤 결과가 공유됐다. 루나를 기준으로 뒀을 때 테라가 6.7퍼센트, 솔이 28.2퍼센트 토큰을 더 소모한다는 것이다. 캐시가 적용되지 않는 입력에서는 격차가 훨씬 크게 벌어진다는 설명도 붙었다. 다만 같은 대화에서 더 중요한 변수 하나가 함께 언급됐는데, 턴 수 자체는 솔이 압도적으로 많다는 점이다. 단위 소모량과 실제 총 소모량이 다를 수 있다는 뜻이라, 모델별 효율을 단순 비교로 끝낼 수 없게 만드는 대목이다.

이어진 대화에서 더 실용적인 정보가 나왔다. 이 참여자는 모델을 하나로 고정해 두지 않고 작업 난이도에 따라 자동으로 전환되게 구성해 뒀다고 했다. 어려운 작업은 솔의 높은 추론 단계로 올리고, 쉬운 작업은 테라로 내리며, 크롬 로그 확인 정도의 가벼운 작업만 루나로 처리한다는 설명이었다. 질문자가 자기 환경은 "솔고정이지"라며 차이를 짚자, 답변자는 자신이 설치해 둔 모델 전환 도구의 저장소 링크를 공유했다. 라우팅이 저절로 되는 게 아니라 별도 구성을 얹은 결과였던 셈이다.

이 대화가 유용한 이유는 결론이 "어느 모델이 싸다"가 아니기 때문이다. 단위 소모가 적은 모델이라도 턴을 많이 쓰면 총량이 역전될 수 있고, 반대로 소모가 큰 모델이라도 한 번에 끝내면 더 쌀 수 있다. 그래서 절약의 실질적인 지렛대는 모델을 아껴 쓰는 절제가 아니라, 작업 성격에 따라 자동으로 갈아 끼우는 라우팅 설계 쪽에 있다.

같은 밤 다른 대화에서 한도를 다 써 리셋을 기다리던 사람들이 적지 않았다는 점을 함께 놓고 보면 이 구성의 의미가 더 분명해진다. 한도 압박에 대한 대응이 "덜 쓰기"에서 "적재적소에 배분하기"로 옮겨가고 있고, 이 방에서는 그 배분을 손이 아니라 도구가 하도록 만드는 쪽으로 한 걸음 더 나갔다. 다만 공유된 수치는 한 사람의 사용 이력에 기반한 값이므로, 다른 작업 유형에서도 같은 비율이 나오는지는 각자 환경에서 확인해 볼 여지가 있다.