오모(omo) 캐싱 버그 고치자 클로드 사용량 10분의 1로 뚝 떨어졌다

12일 저녁 5시 56분, 에르메스단 방에 한 참여자가 짧은 감탄사를 올렸다. "클로드사용량 1/10됐는데여 ㄷㄷ" 커뮤니티가 즐겨 쓰는 도구 오모(omo)의 베타6를 설치한 직후였다. 놀란 다른 참여자가 "사용량이 1/10 이에여? 아니면 닳는게 1/10 이에여?"라고 되묻자, 답은 후자였다. 작업 결과가 줄어든 게 아니라 소진 속도 자체가 10분의 1로 줄었다는 뜻이다.

숫자만 놓고 보면 쉽게 믿기 어려운 변화였다. 신고자는 평소 클로드 페이블을 xhigh 설정으로 돌리면 "무조건 1시간 ~2시간 컷"으로 한도가 바닥났다고 전했다. 그런데 같은 날 저녁 같은 방식으로 4시간을 작업해도 잔량이 줄지 않았다는 것이다. 다른 참여자는 자신이 겪은 문제의 원인을 구체적인 수치로 짚었다. "캐시히트 7프로 나오는거보고 클로드 봉인했었는데.." 캐시가 거의 붙지 않아 요청마다 맥락을 전부 다시 계산하며 토큰을 태우고 있었다는 뜻이다.

캐싱 문제, 개발 쪽에서 확인됐다

저녁 6시 37분, 캐싱 로직을 손봤다고 밝힌 참여자가 결과를 알렸다. 문제는 캐싱 쪽에 있었고, 그걸 고쳤다는 것이었다. 신고자가 말한 수치와 대조한 결과도 곧바로 나왔다. "1/10 이라고하셨는데" "개선됐어요 정확히"라며 수정 전후 체감치가 정확히 일치한다고 확인했다. 신고자는 "클로드를 되찾아주셨군요"라고 답했다. 저녁 6시 52분에는 또 다른 참여자가 "요거 픽스해서 오늘 중에 배포 예정입니다..! 도와주셔서 감사드려용"이라며 당일 배포를 예고했다.

캐시가 정상적으로 재사용되지 않고 매번 전체 컨텍스트를 새로 태우는 구조였다면, 겉으로는 같은 작업을 반복하는 것처럼 보여도 요금은 매번 처음부터 다시 청구되는 셈이다. 신고자가 체감한 "1/10"이라는 배율이 수정 후 그대로 재현됐다는 점은, 개선의 원인이 캐싱 쪽 문제였다는 개발자 발화와 맞물린다. 다만 이 버그가 도구 전체에 걸친 것인지, 특정 사용 조건에서만 나타난 것인지까지는 대화에서 확인되지 않았다.

로그인 방식을 둘러싼 우려도

같은 대화 안에서는 이 도구를 쓰는 방식 자체에 대한 우려도 나왔다. 저녁 6시 3분, 한 참여자가 "혹시 sdk로 안하고 앤트로픽으로 로그인해서 사용해도 상관없는걸까요?"라고 물었다. 신고자는 자신도 그렇게 쓰고 있다고 답하면서도 우려를 감추지 않았다. "전 그렇게 쓰는데 정지당할수도있겠져" 저녁 7시 17분에는 다른 참여자가 이 방식을 만든 쪽에 직접 경고를 남겼다. "보안의 이슈가 따라붙는거라 자칫 골때릴 수도 있지않나 싶어용 ( 과한 염려라면 죄송합니다)"

캐싱 버그 수정은 사용량 문제를 그 자리에서 풀었지만, 어떤 방식으로 접속해 쓰느냐를 둘러싼 물음은 그대로 남았다. SDK 대신 앤트로픽 계정 로그인을 쓰는 방식이 괜찮은지에는 확답이 나오지 않았고, 정지 가능성을 걱정하는 목소리와 보안 쪽 우려가 나란히 오갔을 뿐이다. 체감 비용이 10분의 1로 줄었다는 성과와, 그 절감이 어떤 경로에 기대고 있는지에 대한 물음은 앞으로도 이 커뮤니티 안에서 함께 논의될 가능성이 커 보인다.