로컬 모델 운용, 두 방이 같은 날 짚은 메모리 설정

수요일 오전, 서로 다른 두 방에서 로컬 모델 이야기가 따로 시작됐다. 에이전트코리아에서는 9시 52분 한 참가자가 A100 VRAM 40GB 단일 GPU에서 vLLM으로 로컬 모델을 띄워 Agent 형태의 채팅 서비스를 만들려 한다며 모델 추천과 설정을 물었다. 공공AX에서는 9시 39분 한 참가자가 지피티 80만원 요금제가 나왔다며 로컬의 시대가 온다고 적었다. 요금제 이야기는 그 참가자가 전한 소식이다.

대 로컬의시대가 온다

GPU 한 장을 어떻게 나눌까

에이전트코리아의 질문에 10시 18분 다른 참가자는 4비트 양자화 모델을 고르고, 남는 VRAM을 동시 처리에 할당하라고 답했다. 모델을 작게 눌러 담아 아낀 메모리를 여러 요청을 한꺼번에 받는 데 쓰라는 설계로 읽힌다. 10시 31분 같은 줄기에서는 또 다른 참가자가 캐글 Gemma4 agent 대회를 하고 있다고 적었다.

공공AX에서는 9시 59분 한 참가자가 Qwen3.8-27b를 4비트로 양자화해 쓰는 중인데 쓸 만하다고 했다. 같은 4비트 양자화가 두 방에서 모두 실사용 답으로 등장한 셈이다. 10시 6분에는 thinking이 너무 많다는 문제가 올라왔고, 곧 thinking:false라는 짧은 답이 달렸다.

메모리 상한과 긴 대화

공공AX의 10시 21분 글은 방향이 달랐다. 한 참가자는 사무실에서 gtx pro 6000 8장에 모델을 서빙할 만한지 확인하는 중인데, 참고할 레퍼런스가 적다고 했다. 이어 10시 23분에 상한 이야기가 나왔다.

kv cache 메모리 상한을 정하시져.. 요게 상한이 없어서 임계치를 넘어버리면 GPU 크래시가 발생합니다.

kv cache는 대화 중간 계산값을 쌓아 두는 메모리다. 상한 없이 두면 GPU가 멈출 수 있다는 것이 그 참가자의 경험담이다.

에이전트코리아에서는 오후 1시 45분 질문자가 돌아와 대화가 길어질수록 입력 토큰이 계속 늘어난다고 물었다. 1시 46분 다른 참가자가 압축 구조를 넣어 보라고 했고, 1시 51분에는 구체적인 방식이 소개됐다.

최근 턴은 원문, 과거는 요약, 도구 결과는 압축, 사실은 검색으로 불러오기.

두 방을 나란히 놓으면

두 방은 출발점이 달랐다. 에이전트코리아는 서비스를 만들려는 사람이 설정을 물었고, 공공AX는 이미 쓰는 사람들이 경험을 나눴다. 그런데 오간 질문은 같은 지점에 모였다. 모델을 무엇으로 고르느냐보다, 양자화로 메모리를 줄이고 thinking을 조절하고 kv cache에 상한을 두는 쪽이다.

여기서 한 걸음 더 나가면 이런 해석이 가능하다. 로컬 모델이 시험 단계를 지나 운용 단계에 들어서면, 성능 비교보다 한정된 메모리를 쪼개 쓰는 요령이 더 자주 묻는 질문이 되는 것으로 보인다. 다만 이날 대화만으로는 어느 설정이 실제로 효과가 있었는지 확인되지 않는다. 오간 수치와 설정은 모두 각 참가자의 설명과 체감이다.