48GB 맥북에서 35b는 어렵다 — 로컬 LLM 체감이 토큰 수로 정리됐다

밤 10시를 넘기자 화제가 로컬 LLM 쪽으로 옮겨갔다. 한 참여자가 맥북 프로 라인 48GB 이상 시스템에서 gemma4 31b나 qwen3.6 35b 같은 모델을 실제로 쓰는 사람이 있는지 물었다. 모델 이름 뒤에 붙는 31b·35b는 모델 크기, 곧 파라미터 수를 가리키는 표기다. 후기로는 쓰기 어렵다고 하던데 직접 굴려 본 사람의 이야기가 궁금하다는 질문이었다.

"혹시 맥북 pro라인 48gb이상 시스템에서 로컬 llm gemma4 31b혹은 qwen3.6 35b 사용하시는 분 계신가요?"

무슨 일

답은 곧바로, 짧게 왔다. "35b 면 어렵습니당"이라는 한 줄에 이어 이유가 붙었다. 35b는 4비트 이하로 쪼개야 하고 짧은 대화만 가능하며, KV(주고받은 대화 내용을 담아 두는 메모리) 이슈로 문제가 날 확률이 높지 않겠느냐는 진단이었다. 다른 참여자는 체감을 더 직설적으로 요약했다.

"토큰 생성이 겁나 느립니다"

여기에 기기가 몹시 뜨거워진다는 말도 보태졌다. 그러자 굳이 큰 모델을 물고 있을 이유가 있느냐는 쪽으로 이야기가 넘어갔다. 한 참여자는 "요즘 27b 성능이 좋아서 35b는 3.8 나올때까지 숨참는중..."이라며, 지금은 27b로 버티고 다음 버전인 3.8이 나올 때까지 기다리는 중이라고 밝혔다. 맥을 고집하지 않는 선택지도 나왔다. 7900xtx를 미니PC에 달아 쓰면 벤치마크에서 초당 53토큰(생성 속도), 하네스에서는 초당 42토큰이 나온다는 개인 사용기였다.

정리는 양자화 단계 이야기로 모였다. 모델을 4비트나 8비트 단위로 쪼개 크기를 줄이는 처리를 가리키는데, 4비트와 8비트의 속도 차이는 체감상 크지 않지만 지능 차이는 남는다는 관찰이었다.

"이게 맥에서 8비트가 좀 애매한게 4비트 50토큰이나 8비트 30토큰이나 실체감상 큰 차이는 없는데 지능 차이가 좀 있어서"

맥락과 시사점

이 대화에서 48GB라는 숫자는 통과 조건처럼 보이지만 실제 문턱은 아니었다. 메모리가 모델을 얹을 수 있느냐를 정한다면, 쓸 만한지를 정하는 것은 4비트 이하로 쪼갠 뒤에 남는 지능과 토큰 생성 속도, 그리고 발열이었다. 용량 사양 하나로 로컬 구동 가능 여부를 판단하기 어렵다는 쪽으로, 이날 나온 사용기들이 한 방향을 가리켰다.

답변에 딸려 온 조건들을 모아 보면 같은 이야기가 된다. 4비트 이하로 쪼개야 한다는 것, 그렇게 해도 짧은 대화만 가능하다는 것, KV 이슈로 문제가 날 확률이 높다는 것, 그리고 기기가 몹시 뜨거워진다는 것이다. 조건을 다 붙이고 나면 남는 물음은 돌아가느냐가 아니라 그렇게까지 해서 쓸 것이냐로 바뀐다.

선택지가 갈린 방향도 분명하다. 한쪽은 27b로 내려가 다음 버전인 3.8을 기다리는 쪽이고, 다른 한쪽은 맥을 떠나 7900xtx를 미니PC에 다는 쪽이다. 후자에서 나온 벤치 53토큰과 하네스 42토큰의 간격은, 벤치마크 수치가 실제 작업 환경에서 그대로 유지되지 않는다는 점을 같이 보여준다. 4비트 50토큰과 8비트 30토큰의 대비도 마찬가지다. 속도를 기준으로 고르면 두 선택이 비슷해 보이지만, 실제로 갈리는 축은 지능 쪽이라는 뜻이다.

다만 이 숫자들은 저마다 자기 기기에서 겪은 것을 옮긴 개인 보고이지, 같은 조건에 맞춰 나란히 잰 측정 결과가 아니다. 어느 방향으로 기우는지를 읽는 데는 쓸 수 있어도, 기기를 고르는 기준선으로 그대로 옮겨 적기는 어렵다는 뜻이다.