중국산 미니PC가 GPU 없이 35B 모델을 초당 22토큰으로 돌렸다

GPU 없이 35B 모델이 초당 22토큰을 냈다

중국 선전의 미니PC 제조사가 보내온 장비에 35B 규모 모델을 올려 돌려본 사례가 공유됐다. AMD 라이젠 프로세서를 쓴 기기이고, 그래픽카드 없이 중앙처리장치만으로 초당 22토큰이 나와 쓰기에 쾌적하다는 설명이 붙었다. 127B 규모까지 적용 가능하다는 이야기도 함께 나왔지만, 그 구간의 속도는 아직 실측값이 제시되지 않았다.

"GPU없이 CPU만으로 127B 모델까지 적용 가능합니다. 속도는 초당 22토큰 생성되어 쾌적합니다."

초당 22토큰이 어느 규모의 속도냐는 물음이 이어지자, 35B 모델에서 나온 값이라는 답이 돌아왔다. 제목의 두 숫자가 한 화면에서 연결되는 대목이다.

"35B 모델은 초당 22토큰 나오고요."

숫자만 보면 작아 보이지만 기준선을 붙이면 의미가 달라진다. 같은 대화에서 이 구성이 그래픽카드로 따지면 5090의 32GB급에 해당한다는 비교가 나왔고, 램을 128GB로 올리면 300B 규모까지 가능하다는 전망도 이어졌다.

"램만 128gb면 300B도 가능"

체감의 기준선이 일반 데스크톱으로 내려왔다

반응에서 눈에 띈 대목은 비교 대상이었다. 한 참여자는 아스트라급 로컬 모델이 일반 데스크톱에서 초당 40토큰씩 돌아가는 미래를 기대했다. 로컬 모델을 평가하는 기준이 전용 서버나 그래픽카드 여러 장이 아니라 책상 위 본체로 내려온 것이다.

"아스트라급의 로컬모델이 막 40 초당토큰 씩 일반 데탑에서 돌아가는 미래가 오겠....죠?"

제조사가 장비를 보내오고 받은 쪽이 모델을 올려 속도를 재서 공개하는 흐름도 함께 읽힌다. 로컬 구동 성능이 제품 홍보 문구보다 이용자 실측치로 먼저 돌아다니는 구조다. 이 기기에는 중국 쪽에서 인기 있는 오픈클로를 추가로 올려볼 계획이라는 예고도 덧붙었다. 비교 기준도 이용자 쪽이 정했다. 이번 대화에서 쓰인 자는 초당 토큰 수와 램 용량, 그리고 그래픽카드 환산 세 가지였고 전력이나 가격은 화제에 오르지 않았다.

병목이 가속기에서 메모리로 옮겨갔다

이번 사례에서 더 큰 모델로 가는 조건으로 거론된 것은 연산 장치가 아니라 메모리였다. 그래픽카드를 빼고도 35B 모델이 올라갔고, 그다음 단계는 램 용량으로 설명됐다. 로컬 구동의 문턱이 값비싼 가속기 확보에서 메모리 증설로 옮겨가고 있음을 시사한다. 연산 장치가 아니라 용량이 문턱이라면 부품 하나를 바꿔 다음 단계로 올라갈 수 있다는 뜻이 되기 때문이다.

다만 공유된 수치는 한 대의 기기에서 나온 관찰이고, 127B와 300B 구간은 전망으로만 제시됐다. 같은 날 이 방에서 사용량 한도와 토큰 관리를 토로하는 대화가 길게 이어진 점을 함께 놓으면, 로컬 구동에 쏠리는 관심이 성능 호기심만이 아니라 한도 밖에서 쓸 길을 찾는 움직임과도 맞물려 있는 것으로 보인다. 한 대에서 나온 실측치가 기준선을 흔들기 시작했다는 점은 그 자체로 지켜볼 만하다.