로컬은 멍청하다던 밤, qwen3.8 27B 코딩 후기가 판을 뒤집었다

밤 9시를 앞둔 시각, 로컬 LLM 이야기는 부정적인 한 줄에서 출발했다. 안드로이드에서 로컬 모델을 돌린다는 이야기가 나오자, 한 참여자가 자기 경험으로는 도무지 쓸 물건이 아니었다고 잘라 말한 것이다.

"전 로컬모델 멍청해서 못쓰겠던데..."

분위기를 되돌린 것은 열 분 뒤 올라온 코딩 후기였다. 다른 참여자가 qwen3.8 27B 에 코딩을 맡겨 봤더니 예상보다 훨씬 잘하더라는 소감을 내놓자, 방의 관심이 그쪽으로 쏠렸다. 로컬을 우습게 봤다가 이 모델을 써 보고 놀랐다는 말도 뒤에 덧붙었다.

"qwen3.8 27B 로컬 코딩 시켜봤는데 생각보다 잘해요…"

같은 모델을 이미 쓰고 있던 참여자도 손을 들었다. gemma4 32b 에 실망해 로컬을 접다시피 했는데 다시 기대가 생겼다는 것이다. 마침 7b 급에서 젬마가 나아 보여 32b 도 젬마만 써 보고 그대로 실망했다는 경험담이 나란히 놓이면서, 실망의 원인이 로컬이라는 범주 자체가 아니라 모델 선택이었을 수 있다는 쪽으로 이야기가 정리됐다.

"나의 로컬에 대한 희망이 생기기 시작했음"

다만 후기에는 단서가 곧바로 따라붙었다. 컴퓨터 환경을 묻자 돌아온 답이 a6000 8개였고, 본인도 그건 가정용 사양이 아니라고 선을 그었다. 맥북 128gb 로 돌렸을 때는 mtp 를 적용해도 27tok/s 가 나와 더 낮은 모델을 봐야겠다는 실측도 이어졌다. 같은 모델, 다른 하드웨어에서 나온 두 수치가 나란히 놓인 셈이다.

용도 쪽에도 선이 그어졌다. 로컬을 코딩이 아니라 기밀문서 마스킹 처리에 쓴다는 참여자는, 그런 사정이 아니라면 로컬 LLM 은 감내할 일이 아니라고 잘라 말했다. 기대가 되살아난 바로 그 자리에서 같은 사람이 한계를 함께 적었다는 점이 이 대화의 특징이다.

"기밀문서아니면 로컬llm은 발암이죠 ㅋ.."

이 흐름은 로컬 LLM 평가가 모델 이름 하나로 결정되지 않는다는 것을 시사한다. 쓸 만하다는 후기와 못 쓰겠다는 평가가 같은 밤에 공존했고, 둘을 가른 것은 모델 세대와 하드웨어 여력, 그리고 무엇에 쓰려 하느냐는 용도였다. 수치 없이 오간 '괜찮다'는 말이 a6000 8개라는 조건을 만나 곧바로 성격이 달라지는 장면은, 로컬 후기를 읽을 때 사양과 용도를 함께 봐야 한다는 점을 보여준다.

오늘 오후에는 그 대화가 실제 장비 세팅으로 이어졌다. 전날 메시지를 보고 회사에 남아 있던 a40 48GB 두 장으로 환경을 꾸려 vscode 에 Cline 확장으로 붙였다는 보고가 올라왔다. 아직 결과물을 많이 뽑아 보지는 않았지만 가벼운 작업용으로는 괜찮을 것 같다는, 기대와 유보가 함께 담긴 평가였다.

"어제 이 메시지 보고 회사에 남는 a40 48GB두장으로 셋팅해서 사용하고 있는데 꽤 괜찮네요 vscode에서 Cline extension으로 붙였는데 아직 결과물은 많이 뽑진않았지만 잔잔한 작업용으로는 괜찮을거같아요"