로컬 LLM 뛰어들겠다는 신입을, 방 전체가 나서서 말렸다

저녁 6시가 되기도 전, 한 참여자가 로컬 LLM(자신의 컴퓨터에서 직접 돌리는 대규모 언어모델) 환경 구축에 나서겠다고 밝혔다. "안녕하세요! 더듬더듬 로컬 LLM 환경 구축해보고있는 초보자입니다.. 개발관련 지식이 전무해서 쉽지 않네요 잘부탁드립니다~"라는 인사와 함께였다.

돌아온 반응은 환영이 아니라 만류였다. 한 참여자는 "300쓰고 후회하고 있습니다 ^^"라며 300만 원을 태운 경험을 곧바로 털어놨고, 다른 참여자는 아예 "로컬llm=발작버튼"이라고 못박았다. 로컬 LLM이라는 단어만 나오면 몸이 먼저 반응한다는 뜻이었다.

가장 구체적인 경고는 실패 규모였다. 한 참여자는 "전 agents a1 오 괜찮다 하고 에이전트 만들다가 페이블 주간30날렸습미다"라고 밝혔다. 로컬 모델(agents-a1)로 에이전트를 짜보려다 결국 페이블(Fable, 클로드 계열 AI 코딩 도구)의 주간 사용량 전체를 통째로 소진했다는 고백이었다. 방 안에는 이 외에도 맥북 128기가 램을 사들이거나, 오라클 클라우드 무료 인스턴스를 끌어오거나, 무료 API 37개를 폴백(장애 시 대체 경로)으로 엮어둔 경험담이 잇따라 쏟아졌다. 저마다 다른 방식으로 몸으로 부딪혀본 사람들이었다.

그런데도 대화의 결은 냉소로 끝나지 않았다. "로컬llm=발작버튼"이라 잘라 말했던 그 참여자조차 곧 말려도 결국은 하실 거 다 안다며 태도를 바꿔 응원으로 돌아섰다. 자신도 로컬 모델을 돌려보다 지식이 부족함을 느꼈다는 다른 참여자는 스스로 만든 학습용 사이트와 깃허브 저장소 링크를 공유했다. "https://harness-curriculum.vercel.app/ 로컬모델 agents-a1 돌려보다가 짜집기로 쌓인 지식들이 너무 모자란거같아 스스로 공부용으로 만들어봤습니다"라는 설명과 함께였다.

말리는 쪽도 뜯어말리기만 하는 게 아니라, 자신이 치른 대가를 구체적인 숫자와 사용량으로 보여주는 쪽을 택했다. 300만 원, 주간 사용량 전체, 128기가 램 — 만류가 나름의 설득력을 얻은 건 경고가 추상적이지 않았기 때문이다. 신입을 막을 수 없다는 걸 알면서도, 같은 실수를 반복하지 않도록 실패의 값어치를 미리 알려주는 방식이었다.

13명이 159개의 메시지로 쏟아낸 참전기

이 화두 하나에 13명이 159개의 메시지를 남겼다. 신입 한 명을 말리는 데서 시작했지만, 실제로는 저마다 자신이 걸어온 실패의 경로를 복기하는 자리에 가까웠다. 누군가는 하드웨어(맥북 128기가 램)에, 누군가는 클라우드 인프라(오라클 무료 인스턴스)에, 누군가는 API 조합(무료 API 37개 폴백)에 시간과 돈을 태웠고, 그 경로들이 한자리에 모이자 로컬 LLM 입문이 결코 가볍지 않은 일이라는 공통 감각이 자연스럽게 만들어졌다.

그럼에도 이 방은 신입을 문 앞에서 돌려세우지 않았다. 실패담을 늘어놓던 참여자들이 결국 학습 자료 링크로 마무리한 것처럼, 만류는 진입 자체를 막으려는 게 아니라 어떤 함정이 기다리고 있는지 미리 지도를 그려주려는 시도에 가까웠다.