로컬 모델 하드웨어 앞에서 용도가 먼저라는 기준

일요일 밤 9시 6분, 에르메스단 방에 담담한 한 줄이 올라왔다.

저는 큐웬3.8 27b 겨우 돌리네요

로컬 모델을 어디서 돌릴지 이야기가 이렇게 시작됐고, 곧 방 안의 여러 사람이 자기 장비를 꺼내 놓았다. 한 참가자는 맥스튜디오 256GB를 쓰고 있다고 밝혔고, 다른 참가자는 맥미니 m5 64기가를 쓰고, 또 다른 참가자는 몇 달 전 산 맥북 프로 48GB가 턱없이 부족해졌다고 했다. 메모리 크기가 곧 할 수 있는 일의 크기라는 감각이 대화의 바탕에 깔려 있었다.

27b가 스윗스팟이라는 말

9시 18분 한 참가자가 기준선을 하나 세웠다.

27b가 어차피 스윗스팟이라

개인 용도로는 가장 큰 사양이 과하다는 취지였다. 울트라급을 사도 결국 27b를 쓰게 될 것이고, 여러 에이전트를 굴리거나 서빙할 목적이 아니면 애매하다는 설명이 붙었다. 이에 다른 참가자는 월 200달러 구독도 대부분에게는 과한 사양이라며 개인의 만족으로 돌리는 영역이 아니냐고 받았고, 또 다른 참가자는 각자 만족하면 그만이라고 정리했다. 옳고 그름보다 목적에 맞느냐를 묻는 분위기였다.

맥스튜디오와 DGX 스파크

9시 20분에는 두 장비의 역할이 갈렸다.

dgx spark가 오히려 다양한 용도로 좋을 것 같네요

이 참가자는 둘 다 쓰는데 용도가 완전히 다르다고 설명했다. DGX 스파크는 서빙과 학습, 맥스튜디오는 개인 구동이라는 구분이다. 27b 모델을 파인튜닝하는 데 클러스터로 20여 시간, 클러스터 없이는 40시간을 넘긴다는 어림도 나왔다. 다른 참가자는 DGX가 느려서 학습이 가능하다 정도로만 보고, 가장 큰 이점은 CUDA 생태계라고 짚었다.

dgx 의 가장 큰 이점은 CUDA 이고 아직 CUDA 생태계가 가장 큰 이점이고 압도적이죠

반대로 맥의 MLX는 아직 많이 안타깝다는 평가도 붙었다. 한편 장비를 하나만 고른다면 DGX 스파크가 뭐 하나 제대로 못하는 답답이라는 쓴소리도 나왔다. 목적이 분명하지 않으면 어느 쪽도 만족스럽지 않다는 뜻으로 읽힌다.

128GB의 애매함

9시 31분에는 실제로 써 본 사람의 고백이 나왔다.

저도 m5 128기가지만.. Qwen3.8 flash next 써보고 우와 했다가 이거 돌리니 램 100기가 먹어서 다른거 아무것도 할 수가 없고 속도도 느려터져서 지금은 로컬 다 지웠습니다 😁

램 100기가를 모델이 차지하면 다른 작업을 할 수 없다는 현실이 드러난다. 이어 다른 참가자는 128GB가 27b를 돌릴 때까지는 좋지만 60 ~ 70b 모델이 없어서 애매하고, 그 위는 너무 커진다고 짚었다. 이 말을 들은 참가자는 128GB에서 256GB를 새 로망으로 올렸다고 농담했다.

이 대화가 시사하는 바는 로컬 모델 하드웨어를 고를 때 램 크기보다 무엇을 할 것인가가 먼저라는 점이다. 개인 구동, 서빙, 학습이라는 용도가 갈리면 같은 가격대에서도 답이 달라지고, 지금 모델 크기의 분포가 구매 판단의 기준선을 만든다. 특히 128GB라는 큰 용량조차 돌리려는 모델 크기와 어긋나면 활용 폭이 좁아진다는 지점은, 사양을 먼저 정하고 할 일을 나중에 맞추는 순서를 뒤집어야 한다는 신호로 읽힌다. 다만 이 판단들은 각자의 사용 경험이고 같은 조건에서 잰 속도나 비용 수치는 올라오지 않았다. 20여 시간이라는 파인튜닝 시간도 한 참가자 환경에서의 말이어서, 일반화하기는 어렵다.