1,800억 매개변수급(180B) 모델을 노트북과 CPU 미니PC에서 돌게 줄였다는 공개 소식에, 64GB DGX Spark 4,999달러 발매 예정 전언이 겹쳤다

아침 일찍 에이전트코리아에 로컬 모델 소식이 먼저 올라왔다. 오전 7시 51분, 한 참여자는 1,800억 매개변수급(180B) 모델을 다시 경량화해 노트북이나 CPU만 있는 미니PC에서도 돌아가게 허깅페이스에 공개했다고 알렸다. 이 주제에는 8명이 14건을 주고받았다.

가성비 최고 성능과 지능을 로컬에서 돌리실분들은 사용하세요.

공개한 쪽의 설명이라는 점은 짚어 둘 필요가 있다. 대화에는 경량화로 성능이 얼마나 유지되는지, 실제로 어떤 사양에서 몇 토큰이 나오는지가 올라오지 않았다. 따라서 이 모델이 노트북과 미니PC에서 어느 정도 쓸 만한지는 이 입력만으로는 알 수 없고, 방에서 확인된 값도 아니다. 같은 참여자는 오전 11시 5분에 퀀티넘 H-Series 양자컴퓨터를 90일간 무상으로 돌리게 됐다는 소식을 전했고, 저녁 7시 8분에는 로컬에서 구동되는 AI 안경 데모도 올렸다.

장비 쪽에서는 DGX Spark가 올라왔다

낮 12시 7분에는 다른 참여자가 엔비디아가 64GB DGX Spark를 발표했다는 소식을 전했다. 원문 글에는 10월 23일 금요일부터 판매한다고 적혀 있어, 이미 팔리는 제품이 아니라 발매 예정이라는 전언이다. 이 참여자는 기존 스파크와 같은 가격이라는 점을 짚으면서, 사양이 줄었다는 평가를 한 줄로 붙였다.

엔비디아가 너프된 Spark를 기존 스파크 가격에 내놨습니다.

같은 시각 이어진 글에는 가격표가 그대로 적혀 있었다.

Priced at $4,999

용량과 가격은 모두 이 참여자가 전한 내용이다. 너프되었다는 표현도 그 참여자의 평가일 뿐, 어떤 사양이 어떻게 줄었는지는 대화에 설명되지 않았다. 64GB라는 용량과 4,999달러라는 숫자를 방이 따로 검증한 흔적도 없으므로, 기사는 이를 사실 확정이 아니라 전언으로만 옮긴다.

소프트웨어와 장비가 같은 날 거론된 이유

두 소식은 서로 다른 사람이 다른 시각에 올렸는데도 로컬에서 돌린다는 한 가지 줄기로 묶인다. 한쪽은 모델을 줄여 가진 장비에 맞추겠다는 접근이고, 다른 쪽은 로컬용으로 팔리는 장비의 용량과 값을 다시 매기는 소식이다. 해석하자면 로컬 구동의 문턱을 낮추는 길이 두 갈래로 동시에 언급된 셈이다.

오후 2시 14분에는 또 다른 참여자가 RSI가 표준이 되면 NPU(AI 연산용 칩) 시장이 망하느냐고 물으며 짧은 단서를 남겼다. 이 참여자가 아는 RSI는 학습 가능한 LLM이라는 취지였다.

NPU가 학습은 못하잖아요

질문의 전제는 NPU가 추론에는 쓰이지만 학습은 맡지 못한다는 인식으로 읽힌다. 다만 이 질문에 대한 답이나 토론은 같은 주제 안에서 길게 이어지지 않았다.

전날 같은 방에서는 AI 브라우저 도구(aside)에 올라마 로컬 모델을 붙였더니 응답이 없다는 질문과 에이전트용 맥의 메모리 사양 이야기가 나왔다. 이번 대화는 로컬 모델을 어떻게 돌리느냐는 관심이 하루 만에 모델 공개와 장비 소식 쪽으로 옮겨 붙은 모습이라 볼 수 있으나, 두 날짜의 비교는 이 입력 안의 관찰에 그친다.