세 시간에 92% — 첫날 후기와 같은 무게로 돌던 소모량

오전 10시 57분, 다섯 글자짜리 보고가 올라왔다. 사용량이 미친 듯이 녹는다는 것이었다.

"사용량 미친듯이 녹아요"

이날 방에서 성능 후기 못지않은 비중으로 돈 화제가 이 소모량 이야기다. 참여자 21명이 붙어 43건이 오갔는데, 성능 후기 토픽(8명·13건)보다 오히려 큰 규모였다. 새 모델이 무엇을 해내는가와 그 대가로 얼마가 빠져나가는가가 같은 날 나란히 다뤄진 셈이다.

숫자는 오후에 구체적으로 붙었다

오후 3시 15분, 체감이 수치로 바뀌었다. 세션 네 개를 돌리는데 약 세 시간 만에 92%를 소진하는 중이라는 보고였다.

"진짜 4개 세션 하는데 약 3시간 만에 92% 소진중"

두 시간 뒤에는 요금제가 다른 사례가 붙었다. 플러스 요금제로 한 번 썼다가 한 세션에 토큰 60%가 증발해 결국 못 쓰겠다는 이야기였다.

"아스트라 플러스요금제로 한번 썼다가 토큰 60프로 한세션에 증발 저는 못쓰네요🫠🫠"

같은 모델을 쓰는데 상위 요금제에서는 세 시간, 하위 요금제에서는 한 세션이 한계선이었다. 앞서 방이 종일 확인하던 등급별 개통 여부가, 오후에는 등급별 지속 시간 문제로 이어진 모양새다.

소모는 한 진영만의 문제가 아니었다

오후 5시 30분에는 다른 진영의 사례가 올라왔다. 클로드(Claude) 200달러 요금제를 오랜만에 다시 결제했는데 반나절도 쓰지 않아 주간 한도가 25% 아래로 떨어졌다는 것이었다.

"아스트라도 녹나요? 클로드 200 오랜만에 다시 결제했는데 오늘 반나절도 안썼는데 주간리밋 25%도 안남았네요"

질문이 "아스트라도 녹나요"로 시작한다는 점이 이 대화의 성격을 보여 준다. 어느 한 서비스의 정책 문제가 아니라, 지금 쓰는 도구 전반에서 같은 일이 벌어지고 있다는 전제가 깔려 있는 것이다. 대응은 각자 방어선을 세우는 쪽이었다. 추론 강도를 라이트나 미디움으로 낮추거나, 빠른 응답 옵션을 아예 꺼 두는 식이다.

저녁에 나온 답은 절약이 아니라 배치였다

오후 5시 44분, 한 참가자가 방향이 다른 구성을 공유했다. 루나(Luna)를 메인 채팅 오케스트레이터로 두고 서브태스크의 난이도를 분별해, 어려운 것만 아스트라(Astra)에 넘기고 쉬운 것은 루나가 바로 처리하게 한다는 것이었다.

"luna를 메인 채팅 orchestrator 로 두고 sub task 난이도 분별해서 아예 그건 astra로 하게 하고, 쉬운건 바로 다 luna로 하게 하는게 일반적인 input token 자체가 절감되어서 더 나은것 같네요"

핵심은 아껴 쓰는 것이 아니라 입력 토큰이 발생하는 자리를 바꾸는 데 있다. 비싼 모델이 대화 전체를 떠안지 않게 하면 그 모델에 들어가는 입력량 자체가 줄어든다는 계산이다.

이날 방의 대화를 이어 붙이면, 새 모델을 쓸지 말지를 정하는 기준이 성능 비교에서 소모 설계로 옮겨간 흐름이 보인다. 강도를 낮추는 대응이 성능을 깎아 한도를 지키는 방식이라면, 오케스트레이터 구성은 어떤 일을 어느 모델에 맡길지를 다시 짜는 방식이다. 한도가 체감의 상수로 자리 잡은 상황에서는 후자 쪽 이야기가 계속 늘어날 것으로 보인다.