3B 소형 모델과 GPU 4장, 로컬 LLM 실험담이 한자리서 갈렸다

오후 1시29분, 한 참여자가 로컬로 돌리고 있는 소형 모델 하나를 소개했다. "agents-a1 3b 양자화 메모리5기가정도 먹는녀석입니다"라는 설명이었다. 30B급도 아닌 3B 파라미터 모델을 양자화해 5GB 메모리 안에서 돌리고 있다는 이야기였고, 1분 뒤 다른 참여자는 "경량-추론모델치고 진짜 빠르고 괜찮은거같아요"라며 체감을 보탰다.

비슷한 시각 클로드 코드 생태계 소식도 끼어들었다. 13시58분 한 참여자는 "claude code 에서도 glm5.2 바로 사용가능하네요"라고 알렸다. 클로드 코드 환경에 GLM 계열 최신 버전을 바로 연결해 쓸 수 있게 됐다는 내용으로, 로컬·오픈 계열 모델을 기존 코딩 도구 안에 끌어다 쓰려는 시도가 이 오후 대화 전반에 깔려 있었다는 것을 보여준다.

대화는 곧 훨씬 큰 스케일의 하드웨어 이야기로 넘어갔다. 14시02분 한 참여자는 "rtx pro 6000은 확장하기가 너무 힘들었어요. 4장박아도 384gb"라고 토로했다.

dgx spark가 확장성이 아주 굿

같은 시각 다른 참여자가 남긴 이 한 줄은 대비를 분명히 했다. RTX Pro 6000은 GPU 4장을 물려도 384GB에 머무는 확장 한계를 보인 반면, DGX Spark 쪽은 확장성에서 더 후한 평가를 받은 셈이다.

5GB짜리 3B 모델부터 4장에 384GB인 워크스테이션급 GPU까지, 같은 오후 대화 안에 로컬 LLM 스펙트럼의 양 끝단이 함께 등장한 점이 눈에 띈다. 가벼운 실험과 무거운 인프라 투자가 커뮤니티 안에서 동시에 진행되고 있다는 것을 보여주는 장면으로 보인다.

이날 다른 시간대에 오간 대화들과 나란히 놓고 보면 이 온도차는 더 뚜렷해진다. 오픈클로 하트비트 사고에서 참여자들이 API 토큰 소진과 예상 밖 비용을 걱정했던 반면, 로컬 모델과 자체 GPU를 굴리는 쪽은 애초에 토큰 과금 자체를 피해가는 선택으로 보인다. 다만 그 대가로 5GB 메모리 최적화나 384GB 확장 한계 같은 하드웨어 제약을 스스로 떠안는다는 점에서, 자원 문제를 클라우드 요금으로 치를지 자체 인프라 투자로 치를지 갈리는 선택지가 같은 커뮤니티 안에 공존하고 있는 것으로 보인다.

개인이 5GB 메모리로 소형 모델을 굴리는 층과, 수백 GB급 GPU 확장성을 저울질하는 층이 같은 대화방 안에 공존한다는 점 자체가 이 커뮤니티의 폭넓은 스펙트럼을 드러내는 대목으로 읽힌다.

GLM 5.2를 클로드 코드 안에서 바로 쓸 수 있다는 소식은, 로컬·오픈 계열 모델이 상용 코딩 도구의 대체재가 아니라 그 안에 끼워 넣는 부품처럼 쓰이고 있다는 인상을 준다. 3B급 경량 모델과 GLM 5.2, 워크스테이션급 GPU 이야기가 반 시간 남짓한 사이에 연달아 나온 것은, 이 오후 대화가 로컬 LLM이라는 하나의 화두 안에서도 스케일이 전혀 다른 층위를 오갔다는 것을 보여준다.