폐쇄망에 Qwen3.8을 올린 기관들의 증언

저녁 6시 53분, 공공AX 네트워크에 질문 하나가 올라왔다. 폐쇄망에 중국 모델을 올린 곳이 있느냐는 물음이었다. 질문한 사람은 한 중앙부처 담당자로, 곧이어 Qwen3.8을 올리고 싶은데 윗선의 거부감이 있다고 덧붙였다.

윗분들이 거부감이 있네요

이 화제에는 11명이 21건의 발화를 남겼다. 규모는 크지 않았지만, 폐쇄망에 중국 계열 오픈 모델을 들이는 일이 기술 문제이기 전에 조직 안의 설득 문제라는 점이 첫 질문에서부터 드러났다.

이미 올려 쓰는 기관들

답은 20분 남짓 뒤에 나왔다. 한 참가자가 자기 쪽에는 이미 올라가 있다고 알렸다.

저희 올라가 있습니다! Qwen 3.8

다른 참가자는 27b 모델을 쓴다고 했다. 어느 기업 제품이냐, 외주냐는 질문에는 자체 개발로 올렸다는 답이 달렸다. 로컬 모델을 공공기관 업무에 쓰면 체감이 어떤지, 망에 올릴 때 보안은 어떻게 고려했는지 묻는 질문도 올라왔으나, 보안 질문에는 대화 안에서 이어진 직접적인 답이 보이지 않는다.

같은 시간대에 한 참가자는 폐쇄망 운용이 가능한 오픈 웨이트 모델을 포함한 19개 모델을 벤치마크한 결과를 공유했다. 글에 따르면 DGX Spark 1대에 올릴 수 있는 Qwen3.8-27B 등이 측정한 run을 모두 완주했고, gpt-oss-120b는 입력 토큰 사이즈가 너무 작아 쓰기 어렵다는 내용이다. 이 결과는 게시자의 글이며 대화 안에서 따로 검증되지는 않았다.

성능과 맡길 수 있는 데이터

로컬 모델의 성능이 떨어지지 않느냐는 물음에, 이미 도입했다는 참가자는 성능의 한계를 인정하면서도 다른 장점을 꼽았다.

프론티어는 못이겨도 개인정보나 대외비 같은거 마음껏 쥐어주고 분석 시켜도 됩니다

성능에서 밀려도 외부로 나가지 않는다는 점이 상쇄한다는 논리다. 상담 자료가 많은 기관이라는 사정도 함께 언급되어, 이 선택이 모델 순위보다 맡기려는 자료의 성격에서 출발했음을 시사한다.

밤에 올라온 속도 이야기

밤이 깊어지면서 화제는 체감 속도로 옮겨갔다. 한 학생 사용자가 15GB쯤 되는 27b 양자화 모델을 LM Studio에서 돌렸더니 초당 1토큰 정도라며 이상이 있는지 물었다. 이에 한 참가자가 자기 경험을 보탰다.

27b 가 느리기는 느리더라구요 추론도 낮춰야하고 mtp 도 끄구요

여기서 다룬 환경은 서로 달라 같은 조건의 측정값으로 보기 어려우므로, 두 증언을 같은 조건의 측정값으로 나란히 놓을 수는 없다. 그래도 27b급 모델이 가볍지 않다는 인상은 두 사람의 말에서 겹쳤다.

정리

이날 대화에서 확인되는 것은 폐쇄망에 오픈 모델을 올린 기관이 실제로 있다는 참가자들의 증언과, 윗선의 거부감 및 속도라는 두 가지 걸림돌이다. 도입 사례는 모두 참가자 개인의 말이어서 성능이나 보안 대책을 보여 주는 수치는 대화에 없다. 다만 개인정보를 맡길 수 있다는 이유를 도입 기관 한 곳이 거듭 강조했다는 점은, 폐쇄망 도입 논의의 무게중심이 모델 성능 경쟁보다 자료를 어디까지 맡길 수 있느냐에 놓여 있음을 시사한다.