로컬 LLM, 낭만인가 보안인가 — 그래프RAG·온톨로지로 이어진 이유 찾기

"왜 로컬이어야 하는지 이유가 명확하지 않으면 가성비는 안나오는듯 싶어요… (보안이 가장 중요한 이유가 될듯하고, 그외에는…)" IT PM(제품 관리자)이라고 밝힌 한 참여자가 로컬 LLM 도전을 두고 던진 질문은 냉정했다. 자체 컴퓨터에서 모델을 돌리는 비용과 수고를 정당화할 근거가 보안 말고는 마땅치 않다는 지적이었다. 다른 참여자도 외부 LLM에 연결할 때 실제 보안 위험이 어디까지인지 궁금하다고 되물었다.

곧이어 나온 조언은 한층 더 단호했다. "로컬 모델은 아직은 그냥 낭만인것 같아요 ㅋㅋㅋ 내가 한땀 한땀 나를 위해 학습시킨 괜찮은 LLM 을 만들수 있을것 같지만…" 회사 단위 인프라와 개인 프로젝트 사이의 간극을 실무 경험으로 짚은 조언이었다.

대화는 자연스럽게 도전자의 목적을 캐묻는 자리로 옮겨갔다. 거듭된 질문 끝에 신입은 이렇게 답했다. "로컬 LLM으로 그래프rag와 온톨로지를 구축해서..엄..ocr도 붙여보고 해야겠다..." 그래프RAG(검색 결과를 그래프 구조로 연결해 답변을 만드는 방식)와 온톨로지(개념과 관계를 체계적으로 정리한 지식 구조)를 결합하고, 여기에 OCR(이미지 속 문자를 텍스트로 읽어내는 기술)까지 붙이겠다는 구상이었다. 이어 "그래서 그들이 어떤 방식으로 정보를 취급하고, 늘 새롭게 데이터를 읽어낼 때 찐빠가 안 나는.. 구상을 하려면 지식이 더 필요하겠구나"라며 스스로 목표를 정리했다.

이쯤 되자 다른 참여자는 "로컬 LLM" "그래프RAG" "온톨로지" "OCR"라는 네 단어를 나열하며 웃었다. 이 방에서 몇 번이고 되풀이되는 관심사라는 뜻이었다. 대화는 이후 사내 H200(고성능 GPU) 서버 자랑, FLUX·Qwen Image·ZImage·Ideogram 같은 이미지 생성 모델 비교, '체크포인트'와 모델 머지 같은 용어 설명으로 번졌다. DGX Spark(엔비디아의 개인용 AI 컴퓨터) 사용자에게는 26B급보다 A3B(NVFP4) 또는 Nemotron nano를 추천하는 목소리도 있었고, 로컬과 클라우드의 차이를 "소승불교와 대승불교의 차이"에 빗대는 참여자도 있었다.

보안이라는 명분과 낭만이라는 자기고백, 그리고 그래프RAG·온톨로지라는 구체적 목적지 — 로컬 LLM을 둘러싼 이날 대화는 결국 왜 로컬이어야 하는가라는 같은 질문에 저마다 다른 층위의 답을 내놓은 자리였다.