토큰을 아끼고 나눠 쓰는 세 방의 방식

수요일 저녁부터 목요일 새벽까지 세 방에서 토큰 이야기가 각기 나왔다. 한도를 어떻게 아끼고 나눠 쓰느냐였다. 토픽별로 에르메스단 15명이 36건, 더배러 5명이 72건, 에이전트코리아 5명이 127건을 보탰다. 다만 코덱스 이야기는 에르메스단과 더배러 구간이고, 에이전트코리아의 절약법은 특정 도구로 단정하기 어려운 프롬프트 운용 이야기였다. 수요일 낮 리셋 이후의 소모 체감과 절약법이 이어졌다.

느려졌는데 빨리 닳는다는 체감

에르메스단에서는 저녁 7시 10분 한 참가자가 아스트라만 쓰다 솔을 써 보니 속도가 미쳤다고 했다. 8시 16분에는 코덱스가 심각하게 느려졌다는 말이 나왔고, 한 참가자는 오늘 리셋인데 벌써 50퍼대라고 했다.

밤 10시 3분 한 참가자는 솔 tps가 20이고 fast를 써야 30이 나온다고 적었고, 11시 12분에는 눈떠보니 토큰을 다 써버렸다는 말이 나왔다. 속도 수치와 소모율은 모두 그 참가자들의 체감이며, 대화에서 확인된 측정값은 없다. 느린데도 한도는 빨리 줄어든다는 인상이 에르메스단 몇몇 참가자에게 겹친 것으로 보인다.

웹과 Codex의 한도는 따로라는 설명

더배러에서는 저녁 7시 17분 한 참가자가 코덱스에서 바로 하는 것과 챗 웹으로 주고받는 것의 차이를 물었다. 돌아온 답은 한도에 관한 것이었다.

웹에 할당되어 있는거랑 codex 에 할당된 토큰이 따로 따로에요

질문한 참가자는 앱과 CLI는 같은 토큰이라는 답을 듣고, 챗 웹을 CLI나 Codex에 연결해 쓰는 것이 핵심이라고 정리했다. 8시 1분에는 aside가 쓰는 것이 챗이냐는 물음에 OAuth 토큰을 쓰고 GPT면 Codex 토큰을 쓴다는 답이 나왔다. 7시 37분에는 한 참가자가 Dot(닷)은 자체 컴퓨터를 가진 존재라고 설명했다.

밤에는 같은 방에서 리셋이 화두가 됐다. 11시 17분 한 참가자가 코덱스 리셋을 매일 해 준다는 소문이 있어 아스트라로만 작업 중이라고 하자, 다른 참가자는 경험상 최근 3달은 10일에 한 번꼴이었다고 했다. 소문을 전한 참가자는 오늘 좀 썼더니 63% 남았다고 했고, 뭐가 나와도 리셋은 보통 해 주니 계속 달리는 게 이득 같다는 의견도 나왔다.

프롬프트는 영어로, 보고는 한국어로

에이전트코리아의 이 대화에서 쓰는 도구는 확정되지 않았다. 밤 11시 10분 한 참가자가 클로드 코드를 전제로 말하자 대화 상대가 곧바로 클로드가 아니라고 정정했고, 그 참가자는 영어가 컨텍스트를 적게 먹는다고 안쪽 대화의 언어를 짚었다.

내부대화는 영어로시키고 외부대화만 보는것만

다른 참가자는 다 영어로 해 봤다가 현기증이 먼저 와서 그렇게 하게 됐다고 했다. 멀티에이전트에서 전부 읽게 하면 돈 낭비라 필요한 부분만 보고하게 한다는 설명도 나왔고, 앞서 한 참가자는 출력 형식을 메모리에 저장해 시키고 최소 5회 이상 테스트해 보라고 조언했다. 영어 입력의 절약 효과는 한 참가자의 설명일 뿐 수치로 확인되지는 않았다.

왜 세 방이 같은 밤에 같은 화두였나

세 방의 이야기는 층위가 다르다. 에르메스단은 코덱스가 닳는 속도를, 더배러는 한도의 칸막이를, 에이전트코리아는 프롬프트 언어로 쓰는 양을 줄이는 습관을 말했다. 참가자도 맥락도 달라 하나의 흐름으로 묶기는 어렵고, 세 방이 각자 다른 층위에서 토큰을 다뤘다고 보는 정도가 맞다.