퍼온 로컬 AI 구축 실패담이 꺼낸 모델 격차

28일 낮 열두 시를 갓 넘긴 공공AX 방에 한 참가자가 긴 글을 옮겨 왔다. 제목은 문과의 로컬 AI 구축 분투기였고, 글쓴이가 오래 모아 온 역사 관련 문서 3880여 건을 자기 컴퓨터의 AI로 다루려 한 이야기로 시작했다. 로컬 AI는 외부 서비스에 접속하는 대신 내 장비에서 모델을 직접 돌리는 방식을 뜻한다. 옮겨 온 참가자는 글 맨 끝에 페이스북에서 가져온 글이라고 적었고, 직접 쓴 글이냐고 묻는 다른 참가자에게 아니라고 바로 답했다. 이 글은 본인 경험이 아니라 전해 온 글이므로, 이하 대화에서 오간 의견을 그대로 나눠 본다.

실패담이 좋다는 말에서 성능 이야기로

옮겨 온 참가자는 이런 실패담이 좋다고 했다. 배울 것도 있고 공감도 된다는 이유였다.

이런 실패담 조아요. 배울것도 있고 공감도 되고

곧이어 다른 참가자가 로컬도 좋지만 지금의 성능을 포기하기 어렵다고 했다. 그러자 또 다른 참가자가 오히려 지금 성능을 다 못 쓸 것이라고 받았고, 토큰을 뿌리는 방식이 오히려 멍청함을 유도하는 것 같다고 주장했다. 토큰은 AI가 읽고 쓰는 글자 단위로, 사용량과 요금의 기준이 된다. 같은 참가자는 일을 늘리기만 하고 자동화는 안 된 사례를 꼬집기도 했는데, 대화에 구체적 사례는 없었다. 한 번 지나가듯 한 말이어서 근거를 따져 볼 수는 없다.

로컬 좋은데 지금 현 성능을 포기하기가 어려운...

글을 옮겨 온 참가자는 오픈모델이 빠르게 발전해 웬만한 사양에서도 잘 돌아가는 모델이 나올 거라는 희망을 품고 있었다고 털어놓았다. 오픈모델은 내려받아 직접 돌릴 수 있게 공개된 모델이다. 그러나 현실은 달랐다는 투였다.

프론티어모델들이 쭉 저 멀리 가버림

프론티어 모델은 그 시점의 가장 앞선 상용 모델을 일컫는 말이다. 이 말에 지금 성능을 다 못 쓸 것이라 했던 참가자는 이미 충분히 좋다고 했고 프론티어 모델이 못 하는 일이 수십만 가지라는 반론도 폈다. 별개로 또 다른 참가자는 닭 잡는 칼과 소 잡는 칼을 구분해 쓰면 경제적이라는 비유를 꺼냈다. 격차는 인정하되 모든 일에 최상위 모델이 필요한 건 아니라는 취지였다.

장비를 두고 나온 제안

글이 직접 쓴 것이냐고 앞서 물었던 참가자가 이번에는 상위 AI로 로컬 모델이 감당할 만한 설계를 먼저 만들어 두고, 그것을 가지고 맥스튜디오에서 Qwen을 쓰면 어떻겠느냐고 물었다. Qwen은 앞서 옮겨 온 글에서 오픈소스로 공개된 모델로 소개된 이름이다. 이 질문에는 성능을 다 못 쓸 것이라 했던 참가자가 대부분 그런 식으로 튜닝한다고 답했다. 질문한 참가자는 곧 맥스튜디오가 일주일 안에 배송될 예정이라고 했고, 주변의 만류가 있었다고도 덧붙였다. 그 비율이나 사례는 나오지 않았다.

클로드 max20으로 우선 로컬LLM에서 돌아갈만한 모델링을 해놓고, 그걸가지고 맥스튜디오가서 Qwen쓰면 좀 어떨까요

외부 클라우드와 GPU 클라우드

같은 낮, 맥스튜디오 질문에 답했던 그 참가자는 로컬 LLM에 외부 클라우드를 붙이는 순간 로컬의 장점이 희미해진다고 했다. 이어 요새는 로컬 LLM 코딩 에이전트 구축이 많다고도 했지만, 이 말도 구체적 수치나 사례 없이 인상으로 던진 말이다. 폐쇄망이면 보안은 먹고 들어간다는 말도 같은 참가자가 했다. 다른 참가자가 폐쇄망의 가장 큰 문제로 코드가 엉망인 경우를 들었고, 그 이유는 설명되지 않았다.

외부클라우드 붙히는 순간 로컬의 장점이 또 희미해짐

오후 한 시 이십 분 무렵에는 또 다른 참가자가 로컬 LLM도 결국 컴퓨팅이 문제이니 GPU 인스턴스 클라우드를 쓰겠다고 정리했다. 이 말은 앞선 외부 클라우드 지적과 한 시간가량 떨어져 있어, 그 말에 답한 것인지는 대화에서 표시되지 않았다.

로컬 LLM도... 컴퓨팅이... 그럼 GPU 인스턴스 클라우드쓰고

로컬이라는 말이 가리키는 것

같은 날 같은 글에서 출발했지만, 참가자마다 로컬에서 얻으려는 것이 달랐다. 성능을 포기하기 어렵다는 쪽, 용도별로 모델을 나눠 쓰자는 쪽, 보안과 닫힌 환경이 핵심이라는 쪽, 계산 자원을 어디서 빌릴지가 핵심이라는 쪽이다. 결론은 나오지 않았고, 옮겨 온 글이 던진 질문은 열린 채로 남았다.