로컬 LLM 장비 고르기와 기관 도입 고민

26일 오전 에이전트코리아에서 한 참가자가 이런 글을 올렸다.

로컬 LLM 희생양 도착했습니다

여기서 희생양이 장비를 가리키는 말로 보이나, 어떤 뜻으로 쓴 것인지는 대화에 적혀 있지 않다.

로컬 LLM은 클라우드의 AI 서비스를 부르는 대신 자기 컴퓨터에서 직접 언어 모델을 돌리는 방식이다. 같은 날 오전 공공AX 네트워크에서도 AI 서버의 대안으로 새 장비를 사려던 이야기가 나왔다. 한쪽은 장비를 받아 든 장면이고, 다른 쪽은 사지 못한 장면이다.

이 기사는 두 방의 대화를 방별로 나누어 적고 마지막에 두 대화의 결이 어디서 갈렸는지를 짚는다. 두 방의 화자는 대체로 서로 다른 사람들이므로 한 방의 선택과 다른 방의 의견을 한 사람의 판단처럼 이어 읽을 수 없다.

에이전트코리아, 사양을 가르는 기준으로 나온 대역폭

장비를 들인 참가자는 도착 직후 모니터가 없다는 사연부터 털어놓았다. 이어 다른 참가자가 얼마를 썼느냐고 묻자 이렇게 답했다.

650 정도 들었네요

금액의 단위는 글에 적혀 있지 않고, 장비의 정확한 칩 모델도 대화에는 나오지 않는다. 다른 참가자가 램 64로는 약소하지 않느냐고 물은 데에는, 64보다 더 필요하다면 그건 텐스토렌트 쪽으로 가는 게 맞다고 답했다. 텐스토렌트가 어떤 장비를 가리키는지는 대화에서 설명되지 않았다.

그 직후 또 다른 참가자가 이 사양이면 맥미니로도 되지 않겠느냐고, 같은 사양이어도 맥 스튜디오가 성능이 더 좋을 것 같다고 물었다. 장비를 들인 참가자의 답이 이 글의 핵심이다. 처음에는 맥미니 프로를 보려 했다는 것이다.

대역폭 보고 혹시 몰라서 스튜디오로 바꿨어요

대역폭은 메모리에서 프로세서로 데이터를 실어 나르는 속도로, 큰 모델을 돌릴 때 성능을 좌우하는 항목으로 자주 꼽힌다. 이 참가자는 값 차이를 이렇게 적었다.

50만원 차이인데 GPU 아예 활용 못할 대역폭 보다

문장이 거기서 끝나 있어 비교 대상이 무엇인지는 다 적히지 않았지만, 직전 흐름으로 보면 맥미니 프로 쪽의 대역폭을 두고 한 말로 읽힌다. 이어 맥미니에 64GB 메모리를 쓰고 있다고 밝힌 다른 참가자가 대역폭을 보고 가신 거냐고 되물었고, 장비를 들인 참가자는 설치 계획을 밝혔다.

1Gb/s 속도 꽂아서 모델이랑 서버 다운받아서

모델을 받아 돌릴 생각에 신이 났다고 적었지만, 곧이어 이렇게 덧붙였다.

실상은 자산 스티커 먼저 올리는중

자산 스티커가 무엇을 뜻하는지는 대화에서 풀이되지 않았다. 곧이어 같은 참가자는 한 줄을 더 보탰다.

대역폭이 반토막이더군요

무엇이 반토막인지, 어떤 수치를 보고 한 말인지는 이 문장만으로 확정되지 않는다. 이 대화에서 확인되는 선택의 근거는 두 가지다. 50만원 차이라고 적었다는 점, 그리고 램이 64보다 더 필요하면 텐스토렌트로 간다는 선을 미리 그어 두었다는 점이다.

공공AX 네트워크, 품절에서 기관 도입으로

같은 날 오전 11시께 공공AX 네트워크에서는 한 참가자가 장비를 사려던 이야기를 꺼냈다. AI 서버 가격이 천정부지로 오르는 터라 대안으로 지난주 출시된 128GB짜리 새 장비를 사려 했다는 것이다.

쇼핑몰엔 있다하고 실제는 품절...

이 참가자는 같은 장비가 출시 당일 국내 수입 물량이 거의 다 소진됐다고 적었고, 잘해야 이달 말이나 다음 달 초에 가격이 오른 채로 들어올 예정이라는 말을 들었다고 전했다. 다른 참가자가 대기를 걸어 놓고 산다고 맞장구쳤다. 또 다른 참가자는 연초에 사라는 얘기도 있던데 하고 물었고, 처음 이야기를 꺼낸 참가자는 재작년부터 그 말을 믿고 있다가 당한 경우라고 답했다.

대 로컬의 시대가 온다~~~~

이 말은 금융권이나 VPN을 쓰는 공공 쪽을 언급한 직후에 올라왔고, 쓴 사람은 앞서 대기를 걸어 놓고 산다고 맞장구친 참가자다. 이어서 장비를 사려던 참가자가 한컴 프로그램에 LLM을 넣은 솔루션이 현재 추진 중이라고 알렸고, 어떤 LLM이냐고 물어봤더니 들은 답을 이렇게 전했다.

어떤 LLM 이냐 물어봤더니 로컬와 외부LLM 어느것이든 셋팅 가능하다.

즉 이 내용은 그 참가자가 직접 확인한 설계가 아니라 물어서 전해 들은 말이다. 한글 프로그램 오른쪽 패널에 LLM이 있어서 자료조사를 시키면 왼쪽 본문 화면에 결과를 내놓는 모습을 봤다는 설명도 같은 참가자가 보탰다.

여기에 다른 참가자가 기대를 걸었다. 로컬 성능이 올라오고 있으니 내년에는 이 정도 장비 세팅으로도 쓸 만하게 돌릴 수 있지 않겠느냐는 말이었다.

내년엔 500정도만 장비 세팅해도 쓸만하게 돌릴 수 있지 않을까요

이 참가자는 곧바로 장비값이 올라서 안 될지도 모르겠다고 덧붙였다. 500의 단위는 적혀 있지 않다.

이와 결이 다른 의견은 장비값을 걱정한 참가자가 아니라, 대기를 걸어 놓고 산다고 했고 앞서 '대 로컬의 시대'를 올린 참가자에게서 나왔다. 이 참가자는 로컬 LLM에 외부 클라우드나 외부 LLM을 붙이는 순간 또 의미가 없다고 짚었다. 한컴 쪽 AI 기능에 대해서는 이렇게 말했다.

한컴 로컬 poc 해본곳 엄청 많지만 대부분 안쓰게되신 이유가 임ㅅ습니다

PoC는 본격 도입 전에 작은 규모로 해 보는 시범 검증이다. 문장 끝의 오타 때문에 이유가 있다는 뜻인지 없다는 뜻인지 가려지지 않고, 이유가 무엇인지도 적혀 있지 않다. 이 참가자는 이보다 앞서 범용성이 너무 낮아 잘 안 쓰는 구조라고 했고, 뒤이어 기관 전체에 범용으로 들이는 일은 환경 고려부터 권한 설계까지 난관이 많다고 정리했다. 이는 이 참가자 한 사람이 본 사례에 근거한 의견이며, 해 본 곳의 수나 중단한 곳의 수를 확인할 수 있는 자료는 대화에 없다.

두 방을 나란히 놓으면

닮은 점은 장비를 고르는 일이 이미 모델을 고르는 일 못지않게 큰 화두라는 데 있다. 다만 두 방이 같은 질문을 한 것은 아니다. 에이전트코리아에서는 한 참가자가 이미 사서 받은 장비를 두고, 값 차이가 얼마인지와 대역폭을 보고 사양을 가른 이유가 오갔다. 공공AX 네트워크에서는 사려던 장비가 품절이었다는 이야기에서 출발해, 기관이 로컬 모델을 들이면 어떻게 되는지와 문서 프로그램에 붙은 AI 기능을 실제로 쓰게 되는지로 넘어갔다.

그래서 앞쪽에서는 기계의 성능과 값이, 뒤쪽에서는 쓰임새와 도입 환경이 논점이 된 것으로 보인다. 장비를 들인 참가자는 램이 64보다 더 필요하면 텐스토렌트로 간다고 선을 그었고, 공공AX에서 도입을 말한 참가자는 범용성과 권한 설계처럼 장비 밖의 조건을 따졌다. 이 구분은 두 방의 발화를 겹쳐 본 읽기다.

한계도 분명하다. 에이전트코리아의 650과 공공AX 네트워크의 500은 단위도 대상도 달라 비교할 수 없다. 대역폭이 반토막이라는 말은 한 참가자의 설명이고 검증되지 않았으며, 한컴 쪽 이야기는 전해 들은 말과 한 참가자의 의견뿐이다. 두 방이 같은 오전에 이 화두를 올린 이유를 말하는 발화도 없다. 그래서 이 기사는 로컬 LLM 도입의 방향을 판정하지 않고, 같은 오전에 한 참가자의 장비 선택과 기관 도입을 따지는 이야기가 따로 올라왔다는 사실까지만 확인한다.