에이전트를 여러 개 돌리는 장비의 한계

아침판의 로컬모델 장비 비교에 이어, 이날 에이전트코리아 방에서는 에이전트 세션을 여러 개 돌리는 작업용 기기를 둘러싼 고민이 하루 종일 이어졌다. 이 주제에는 14명이 201건을 보탰고, 첫 글은 오전 6시 45분에 올라왔다.

세션이 늘면 메모리가 먼저 바닥난다

첫 글은 "맥미니 24G 로 하다보니... 세샨 6개 돌리니깐 뻑나여.."였다. 한 참여자는 맥미니 24G에서 세션을 6개 돌리니 버벅인다고 적은 것이다. 다른 참여자는 똑같은 맥미니 24G로 훨씬 많은 세션을 돌린다며, 램 사용량을 확인하면서 클로드와 코덱스 외에는 모두 끈다고 반론했다. 7시 11분에는 빌드 중에 캐시가 쌓여 저장 공간이 모자란다는 이야기도 나왔다.

저장 공간 이야기는 세션 수와 별개로 빌드 캐시가 또 하나의 부담이 된다는 사례로 읽힌다. 메모리뿐 아니라 디스크도 에이전트 작업의 숨은 한계가 될 수 있다는 뜻이다.

같은 기기에서도 버벅인다는 사람과 다른 프로그램을 다 끄고 더 많이 돌린다는 사람이 갈렸고, 기기를 바꾸자는 말은 이 대목에서 나오지 않았다. 세션 수가 곧 부하가 되는 작업 방식에서는 모델 속도보다 메모리와 저장 공간이 먼저 한계로 드러난다는 점을 시사한다. 다만 각자의 작업 내용과 세션이 무엇을 돌리는지는 대화에서 확인되지 않았다.

맥북에어냐 윈도우북이냐

오전 9시 38분에는 한 참여자가 가볍고 배터리가 오래 가는 노트북으로 맥북에어가 결론이냐고 물었다. 배터리를 들어 맥북에어를 권하는 답이 많았다. 그 답을 낸 참여자도 정작 자신은 엔비디아를 놓지 못해 윈도우북을 쓴다고 덧붙였고, 다른 참여자는 CUDA를 포기 못 한다며 맞장구쳤다.

엔비디아 못잃어

AI는 그냥 닥 맥

앞 줄은 엔비디아 GPU를 놓지 못한다는 말이고, 뒷 줄의 「닥 맥」은 앞서 쿠다를 포기 못 한다던 참여자가 '닥치고 맥'을 줄여 한 말로, AI 작업에는 맥이 낫다는 뜻으로 보인다. 배터리가 강점인 맥과 CUDA 생태계를 가진 엔비디아 사이에서 의견이 갈린 셈이다. 결론이 났다고 하기는 어렵고, 한쪽이 상대를 설득한 모습도 없다. 질문 자체가 맥미니에서 막힌 경험 뒤에 나온 것인지는 대화만으로는 알 수 없다.

오후에 나온 RTX Spark 랩탑

오후 3시 38분에는 한 참여자가 이날 발표된 신형 노트북, RTX Spark를 탑재한 MS 서피스 랩탑 울트라를 들일 예정이라고 했고, 3시 45분에는 오늘 주문이 들어갔다고 전했다. 이 참여자는 써 보고 공유하겠다고 했으니, 약속된 후기는 아직 오지 않은 채 남아 있다. 사양에 관한 설명도 이어졌는데, 주문한 참여자는 RTX Spark N1X가 6144코어 GPU라고 말했다. 한편 DGX Spark(엔비디아의 책상형 AI 컴퓨터로, 위 노트북과는 다른 제품)를 사전예약으로 사서 써 왔다는 다른 참여자는 전력 효율은 좋지만 대역폭 한계가 있어 두 대는 있어야 한다고 짚었다. 이 수치와 평가는 각 참여자의 설명이며, 이 기사가 확인한 것은 아니다.

아침의 맥미니 호소에서 오후의 신형 랩탑 주문까지 하루가 한 줄로 이어진 셈이다. 로컬에서 에이전트를 여럿 굴리려는 사람들이 메모리, 저장 공간, GPU 중 무엇을 기준으로 삼을지 각자 답을 찾는 중인 것으로 보인다. 아침의 호소와 질문은 아직 고르는 중인 사람의 것이었고, 오후에는 같은 참여자가 주문까지 마치며 하나를 정한 사례도 나왔다. 주문한 기기의 실제 사용 후기가 올라올지는 이날 대화에서 확인되지 않았다.