로컬 LLM 장비 고민 — M3 Ultra·DGX Spark로 딥시크 돌리기

새벽 2시를 넘긴 에르메스단에서 한 참여자가 로컬 LLM을 맥 스튜디오(Mac Studio)로 돌리는 사람이 있는지 물었다. API 대신 자신의 장비로 모델을 직접 구동하려는 시도에 다른 참여자들이 곧바로 경험을 나눴다. 이 시각 방은 이미 몇 시간째 딥시크 V4 Flash의 가성비를 두고 이야기가 오가던 참이라, 그 모델을 직접 로컬에서 돌릴 수 있는지가 자연스러운 다음 화두가 됐다.

"맥은 프리필 속도 느려서 .... 추천은 안드리고 싶습니다. 그리고 파인튜닝 할거 아니면... 그냥 APi 쓰세요. 훨씬 쌉니다. ㅋㅋ"

이 참여자는 맥 스튜디오의 M3 Ultra 칩이 프리필(prefill) 속도에서 아쉽다며, 파인튜닝처럼 로컬 구동이 꼭 필요한 목적이 아니라면 API 쪽이 훨씬 싸다고 조언했다. 대안으로 엔비디아 DGX Spark가 거론되자, 검토 중이라는 참여자에게 다른 참여자는 그 장비라면 막 출시된 딥시크(DeepSeek) V4 Flash를 로컬로 돌릴 수 있어 두 대 구성이 적당한 스윗스팟이라고 짚었다. 맥 스튜디오와 DGX Spark라는 서로 다른 두 장비가 같은 대화 안에서 나란히 저울질된 셈이다.

"그런데 그거 아세요? 두대 돌려서 나오는 전기세가 api 비용이랑 큰 차이 안날거 같아요"

장비를 사더라도 전기 요금까지 합치면 API 비용과 큰 차이가 없을 거라는 계산은, 이날 밤 방을 휩쓴 딥시크 V4 Flash의 저가 매력이 로컬 구동에서도 그대로 재현되지는 않을 수 있음을 시사한다. 결국 로컬 장비 도입은 성능·속도뿐 아니라 전기 요금까지 더한 총소유비용을 함께 따져야 하는 문제로 남은 것으로 보인다. 맥 스튜디오와 DGX Spark를 저울질하는 모습은, 로컬 구동이 아직은 손쉬운 대안이 아니라는 방 안의 공감대를 보여준다. 초기 장비 투자와 운영 전기료를 함께 계산해야 한다는 지적은, 클라우드 API의 종량제 구조가 여전히 더 예측 가능한 선택지로 남아 있음을 뒷받침하는 것으로 풀이된다.

이 대화가 오간 새벽 시간대는 이미 방 안에서 알쫀쿠 환불 인증과 AI 구독료 부담 토로가 함께 이어지던 참이었다. 구독료 부담을 호소하는 목소리와 로컬 장비로 비용을 낮추려는 시도가 같은 밤 서로 다른 화제로 나란히 오갔다는 점은, 이 방 참여자들이 사용료 문제를 여러 각도에서 동시에 고민하고 있었음을 시사한다. 새로 나온 저가 모델일수록 이를 직접 구동해 보려는 수요가 뒤따르지만, 장비값과 전기료까지 함께 셈해야 진짜 이득을 알 수 있다는 점은 이날 대화가 남긴 실질적인 교훈으로 보인다.