1.5TB에 초당 0.003토큰 — 더배러가 로컬 LLM을 돌려보고 마주한 벽

8월 4일 아침 8시 32분, 한 참여자가 로컬로 거대 언어모델(LLM)을 직접 돌려보자고 제안했다. 오퍼스(Opus)급으로 평가받는다는 키미(Kimi) K3를 한번 써보자는 것이었다. 구독형 클라우드 모델 대신 개인 장비로 그만한 성능을 직접 굴려보겠다는 시도였다.

"이 참에 opus 급의 kimi 3를 써보시죠"

같은 날 오전 10시 5분, 다른 참여자는 별도로 GPU를 활용한 실험을 이어가고 있었다. 5060 GPU로 사무실 공간을 3D로 스캔해 가우시안 스플래팅(여러 장의 사진으로 입체 공간을 재구성하는 렌더링 기법)을 시도했지만, 화면을 확대할수록 이미지가 깨지는 한계에 부딪혔다는 것이었다. 로컬 하드웨어로 대형 모델을 돌리는 실험과는 별개로, 같은 GPU 자원으로 다른 종류의 벽에 부딪힌 사례였다.

"이러다가 또 더 크게하면 깨짐 ㅋㅋㅋ..."

오후 1시 58분, 처음 참여자는 오퍼스급이라던 키미 K3를 실제로 로컬에 돌려본 결과를 전했다. 기대와 달리 필요한 하드디스크 용량이 1.5테라바이트(TB)에 달한다는 것이었다.

"kimi-k3 모델 돌리려면 하드공간이 1.5TB 필요하네요 ㅜ"

13분 뒤 또 다른 참여자는 속도 쪽 체감을 얹었다. 100토큰짜리 답변 하나를 받는 데 8시간이 걸린다는 요약이었다. 이는 처음 참여자가 3070 GPU로 직접 측정했다는 초당 0.003토큰과도 정확히 맞아떨어지는 속도로, 체감이 단순한 과장이 아니라는 것을 뒷받침한다.

"100토큰 답변 1개 8시간.."

8시간을 기다려 100토큰짜리 답변 하나를 받는 속도로는, 대화하듯 주고받는 실무 작업에 곧바로 쓰기는 어렵다는 점이 자연스럽게 드러난 셈이다. 세 시간여 뒤인 오후 5시 13분, 처음 참여자는 대안 하나를 보탰다. 데스크톱 GPU 대신 스마트폰에서 소형 모델을 돌려 초당 3토큰을 얻어냈다는 것이었다. 같은 로컬 실험이라도 모델 크기를 낮추면 훨씬 쓸 만한 속도가 나온다는 뜻이었다.

"3tok/s 나옵니다"

참여자 7명이 56건의 발화를 주고받은 이날 실험은 용량 1.5TB, 속도 초당 0.003토큰이라는 두 가지 벽에 부딪히며, 오퍼스급이라는 평가만으로는 개인 장비에서 대형 모델을 그대로 돌리기 어렵다는 것을 확인했다. 반면 같은 시간대 GPU 3D 스캔과 스마트폰 소형 모델 구동에서는 각자 나름의 결과물을 냈다는 점은, 로컬 인프라를 쓸 때 대형 모델을 통째로 옮겨오기보다 가진 자원에 맞춰 목적을 좁히는 쪽이 더 현실적인 대안이라는 것을 시사한다. 값비싼 원본 대신 손에 쥔 하드웨어의 크기에 맞춰 목표를 다시 잡는 태도가, 이 방의 로컬 실험을 이어가게 하는 힘으로 보인다.