로컬은 멍청하다던 평가, qwen3.8 27B 실사용기에 뒤집혔다

밤 8시 46분 무렵, 로컬 LLM 이야기가 나왔을 때 방의 기본값은 회의에 가까웠다. 로컬 모델은 멍청해서 못 쓰겠다는 평가에서 대화가 시작됐기 때문이다. 그 평가를 뒤집은 것은 직접 돌려 본 사람들의 후기였다. 이날 이 주제는 참여자 5명·발화 40건으로 방에서 가장 많은 말이 오간 화두가 됐다.

첫 후기는 용도가 분명했다. 보안문서를 수정하면서 로컬 qwen을 써 봤더니 좋았다는 이야기였는데, 이 발화에는 모델 버전이 함께 적히지 않았다. 뒤이어 나온 후기들과 같은 버전인지는 대화만으로는 확인되지 않는다.

"요번에 보안문서 수정하는데 local qwen써보니깐 좋더라구요"

버전을 밝힌 후기는 그 뒤에 나왔다. 한 참여자가 qwen3.8 27B로 로컬 코딩을 시켜 봤는데 생각보다 잘한다고 전했고, 또 다른 참여자도 로컬을 우습게 봤다가 qwen3.8을 써 보고 놀랐다고 덧붙였다. gemma4 32b에 실망했던 쪽에서 나온 말이라 반전의 폭이 더 커 보였다.

"qwen3.8 27B 로컬 코딩 시켜봤는데 생각보다 잘해요…"

밤 9시 11분에는 평가가 뒤집힌 과정을 그대로 드러내는 발화도 나왔다. 로컬을 우습게 봤다는 전제를 스스로 밝힌 뒤에 놀랐다고 적은 후기였다.

"저도 로컬 우숩게 봤는데 qwen3.8 사용해보고 놀랐어요.."

사양 이야기는 곧바로 따라붙었다. 코딩 용도로 돌린다는 참여자가 A6000 8개를 쓰고 있다고 밝히자, 그 정도 구성은 일반 가정에서 감당할 수준이 아니라는 반응이 이어졌다. 로컬 모델로 언급된 다른 쓰임새는 기밀문서 마스킹과 xlsx 보안문서 수정, 이미지 배경 제거와 GIMP 연동 쪽에 몰려 있었다. 후기의 성격이 성능 점수가 아니라 특정 작업을 끝냈다는 확인에 가까웠다는 뜻이다.

정리하면 이날의 반전은 모델 성능 하나로만 설명되지 않는다. 버전을 명시한 후기와 그렇지 않은 후기가 한자리에 섞여 있었고, 코딩이 잘된다는 체감의 배경에는 8장짜리 GPU 구성이 깔려 있었다. 같은 "쓸 만하다"는 말도 어떤 하드웨어 위에서 어떤 작업을 시켰는지에 따라 다른 이야기가 될 수 있음을 시사한다. 문서 수정에서 좋았다는 평가와 코딩에서 잘한다는 평가를 하나로 합쳐 읽기 어려운 이유도 여기에 있다.

대화의 마지막 단서도 그 선을 그었다. 기밀문서를 다루는 경우가 아니면 로컬 LLM은 비효율이라는 촌평이 붙으면서, 반전은 무조건적인 추천으로 넘어가지 않고 조건부로 정리됐다.

"기밀문서아니면 로컬llm은 발암이죠 ㅋ.."

실제로 언급된 용도가 밖으로 내보내기 어려운 문서 쪽에 몰려 있다는 점도 이와 맞물린다. 로컬 모델이 클라우드 모델을 대체하는 자리보다, 데이터를 반출할 수 없는 자리에서 먼저 쓰이고 있다는 정황으로 읽힌다. 이날 발화 40건이 오가며 평가가 한 번 뒤집혔지만, 남은 것은 로컬이 낫다는 결론이 아니라 어떤 조건에서 로컬을 고를지에 대한 목록에 가까웠다.