클로드 맥스 20x가 실측 8.5배로 계산되던 날, 옆 방은 태블릿에 26B를 올렸다

무슨 일이 있었나

9월 1일 점심 무렵 에르메스단의 분위기를 식힌 것은 계산 한 줄이었다. 클로드 맥스 20x(Claude Max 20x) 요금제의 실제 사용량이 5x의 8.5배 수준이라는 셈이 돌자, 결제한 배수만큼 쓰지 못하는 것이냐는 되물음이 곧바로 붙었다. 24명이 89건을 주고받은 이 대화에서 초점은 배수 자체보다 5시간 단위 한도 쪽으로 옮겨갔다. 배수는 그대로 두고 짧은 주기 한도를 줄여 놓은 것 같다는 관측이 이어졌고, 공지가 뜨자마자 리밋이 찬다는 증언이 거들었다.

"20x 8.5x수준이네 ㅋㅋㅋ"

"?? 20x 결제해도 실제 사용량이 그게 안되는거에요??"

"한도는 5x고 5시간 한도를 줄여놧구만요 "

두 시간 뒤 에이전트코리아에는 반대 방향의 숫자가 올라왔다. 오후 2시 16분, 한 참여자가 100만원짜리 16GB 램 태블릿에 직접 손본 젬마4 26B(구글 Gemma 4 26B)를 4비트 양자화(quantization, 모델 가중치를 4비트로 압축해 메모리 요구량을 줄이는 기법)로 얹어 GPU 없이 돌린 실측치를 공개했다. 가용램 11GB를 유지한 채 프리필 30tok/s, 토큰 생성 16tok/s, 128K 장문맥, KV캐시 절감 84.3%라는 값이었고, 13명이 140건을 주고받으며 세 시간 가까이 이어져 그날 이 방에서 참여자가 가장 많이 붙은 화제가 됐다. 첫 응답 토큰까지 걸리는 시간(TTFT)을 다시 잰 값은 짧은 질문 1.18초·보통 질문 2.76초, 생성 속도는 각각 7.27 t/s와 11.76 t/s로 처음 공개된 수치보다 낮았다.

"GPU 없이 ARM CPU와 RAM만으로 중형 모델을 품질저하 최소화하여 '온디바이스 AI'를 구현했어요. 이제 누구나 나만의 LLM을 로컬로 휴대할 수 있게 하려 합니다."

"짧은 질문 (10토큰) TTFT 1.18초 · 생성 7.27 t/s 보통 질문 (32토큰) TTFT 2.76초 · 생성 11.76 t/s"

"딱 사내정도에서 쓰기 좋은 PDA 대체 하기론 좋겠네요"

방마다 어떻게 달랐나

에르메스단이 쥔 것은 계약서였다. 배수 표기와 실사용량 사이의 간격이 화두였고, 대화는 이미 낸 돈에 견줘 무엇을 돌려받고 있는지를 따지는 쪽으로 흘렀다. 저녁 무렵에는 걱정의 시제가 미래로 옮겨가, 다음 모델이 나올 때 리소스 부족을 이유로 한도가 또 깎일지 모른다는 우려가 나왔다. 클로드의 페이블(Fable) 모델 없이는 일이 안 된다는 전제 위에 얹힌 걱정이라는 점에서, 의존도가 높을수록 한도 변경이 더 크게 체감된다는 사정이 드러난다.

"페이블 없이 살기 힘든 몸이 되버렸는데 5.1나오면 우리 리소스 없어 빽 하면서 또 줄일까봐 걱정이네요 "

에이전트코리아가 쥔 것은 장비였다. 같은 날 오후 대화는 요금제 조건이 아니라 램 용량과 온도, 배터리로 내려갔고, 태블릿 한 대에 중형 모델을 얹어 들고 다니겠다는 목표가 화제의 중심이었다. 크라우드펀딩을 해보면 어떻겠냐는 제안이 방에 던져졌고, 저녁에는 같은 참여자가 앞서 올린 서비스가 허깅페이스 주간 선정에 뽑혔다는 소식이 붙었다.

"이거 와디즈나 텀블벅 함 해보면 어떨까요? 의견들 주세요"

"제가 만들어서 우리방에 올린 AI 문명 서비스가 허깅페이스 이번주 명예의 전당(허깅에서 딱 8개를 매주 선정) 뽑혔어요."

다만 자립 이야기가 방 안에서 무조건 낙관으로 흐르지는 않았다. 태블릿 실측이 올라오기 바로 앞선 시간대에, 같은 방에서는 RAG(검색 증강 생성, Retrieval-Augmented Generation)를 실제 서비스로 띄울 때 부딪히는 비용과 문서 품질이 화제였다. 2명이 주고받은 10건짜리 짧은 대화였지만, 서버를 띄우는 순간 비용이 붙는다는 지적과 벤치마크 밖 현실 문서가 훨씬 지저분하다는 경험담이 나란히 나왔다. 도메인을 좁히면 그나마 낫고 범용으로 가면 어려워진다는 실무 감각으로 대화는 정리됐다.

"RAG를 서비스에서 활용하는 경우에는 서버로 띄워야 하고 그럼 오우 이거 돈 꽤나 드는걸 을 보실 수 있습니다"

"MTEB는 선녀고, 현실 문서가 더 더러워서…. 해보시면 으음??! 하고 마라맛을 보게됩니다"

"법률 검색의 민주화가 되진 않더군요"

왜 주목할 만한가

세 대화를 관통하는 축은 성능이 아니라 사용량과 비용이다. 한쪽은 정해진 값을 내고 쓸 수 있는 양이 얼마인지를 따졌고, 다른 쪽은 그 양을 아예 자기 기기 안으로 옮길 수 있는지를 실측으로 물었다. 두 질문이 같은 오후에 두 방에서 나란히 올라온 것은 우연일 수 있지만, 구독 한도의 체감이 나빠질수록 자체 구동 실험의 주목도가 올라가는 관계를 시사한다. 실제로 두 대화는 각자의 방에서 그날 참여자가 가장 많이 붙은 화제였다(에이전트코리아 13명, 1319건이 오간 에르메스단 24명).

동시에 세 번째 대화는 자립이 비용을 없애기보다 옮기는 쪽에 가깝다는 점을 같은 방 안에서 보여준다. 태블릿에 모델을 얹는 데 성공해도 검색과 문서 처리를 서비스로 세우는 순간 서버 비용과 현실 문서의 지저분함이 다시 등장하고, 실측 수치도 재측정에서 처음 값보다 낮아졌다. 결제한 만큼 못 쓴다는 불만과 그럼 내 손으로 돌리겠다는 대응 사이에는 아직 검증되지 않은 구간이 남아 있는 것으로 보인다. 펀딩 제안과 제조사 접촉 이야기가 어디까지 진행되는지, 다음 모델 출시가 한도를 어떻게 건드리는지는 이후 대화에서 확인할 문제로 남는다.