사이오닉, 키미 K3 네이티브 서빙으로 200~300tps — 사내 하루 3000달러 소비

새벽 1시가 넘은 시각, 에르메스단 채팅창에 숫자 하나가 툭 던져졌다. "200-300tps 정도" 한 참여자가 자신이 다니는 회사(사이오닉)에서 키미(Kimi) K3를 어떻게 굴리고 있는지 묻는 질문에 답한 숫자였다. 무크샷AI(Moonshot AI) 계열로 알려진 오픈소스 대형언어모델(LLM) 키미 시리즈의 최신 모델을, 압축·경량화(양자화)하지 않고 원래 사양 그대로 자체 서버에서 돌리는 '네이티브 서빙' 방식으로 굴려, 초당 토큰 생성 속도(tps — 모델이 답을 만들어내는 속도의 척도)를 200 ~ 300까지 끌어올렸다는 것이다. 통상 양자화는 모델 크기를 줄여 속도를 끌어올리는 대신 답변 품질 일부를 내주는 절충인데, 그 절충 없이 이 정도 속도를 냈다는 점이 방 안의 눈길을 끈 대목이었다.

뒤이은 한마디가 더 크게 화제를 모았다. "사내에서는 매일 3000불어치씩" 회사 안에서만 매일 원화로 400만 원 안팎을 이 모델 하나에 쏟아붓고 있다는 뜻이다. 개인이 구독료 몇만 원을 두고 다투던 방의 온도와는 자릿수부터 다른 소비량이었다. 자체 인프라를 굴려야만 나올 수 있는 규모의 사용량이라는 점에서, 같은 모델을 두고도 개인 개발자와 기업이 마주하는 비용 구조가 얼마나 다른지를 새삼 드러낸 장면이기도 했다.

관심은 자연스럽게 '이걸 밖에서도 쓸 수 있느냐'로 옮겨갔다. 한 참여자가 조심스레 운을 뗐다. "이런 질문 드려도 되는지 모르겠습니다. 혹시 실례라면 그냥 무시해주셔도 되는데, Fireworks AI처럼 구독 서비스 출시는" 파이어웍스AI(Fireworks AI)는 대형모델을 빠르게 서빙해주는 미국의 AI 인프라 스타트업으로, 개발자가 자체 서버 없이도 고속 추론을 구독형으로 빌려 쓸 수 있게 해주는 서비스로 알려져 있다. 질문을 받은 당사자는 다방면으로 검토 중이라며 확답은 피했다. 대화가 이어지는 동안 다른 참여자는 페이팔 결제가 막힌 상황에서 오픈게이트웨이(OpenGateway) 결제 방법을 따로 묻기도 했다.

사내 인프라 하나가 매일 3000달러를 태울 만큼의 처리량을 낸다는 사실은, 지금 이 방을 채우는 개인 구독료 논쟁과는 다른 층의 이야기를 보여준다. 회원들이 월 몇십 달러짜리 플랜을 여러 개 겹쳐 쓰며 한도를 아끼는 사이, 어딘가에서는 같은 계열의 모델을 자체 서버에 얹어 정밀도를 낮추지 않고도 상업용 API에 준하는 속도를 뽑아내고 있는 셈이다. 구독 서비스로 풀릴지는 아직 정해지지 않았지만, 질문이 나왔다는 사실 자체가 이 정도 성능이 개인 개발자에게도 탐나는 수준이라는 신호로 읽힌다. 사내용으로 쌓아온 서빙 노하우가 언젠가 개인 구독 상품으로 내려올지, 아니면 기업 전용 자산으로 남을지는 아직 열려 있는 물음이다.