128기가 머신에 올린 로컬 모델, 초당 30~50토큰 실측기

자정을 넘긴 새벽, 로컬 모델을 실제 작업에 붙여본 후기가 잇따라 올라왔다. 한 참여자는 "오마나….qwen3.8-27b-abliterated-mtplx …pi에 물려서 컨텍스트 70K 아웃풋 20K 하니까 굉장히 쓸만하네요?? ㄷㄷ"라며 놀라움을 전했다. 개인 워크스테이션에 로컬 모델을 직접 물려 쓰는 실사용기가 새벽 시간대 방 안에서 이어졌다. 컨텍스트 70K, 아웃풋 20K라는 구체적인 수치까지 함께 언급되며 실제로 돌려본 사람만 낼 수 있는 디테일이 눈에 띄었다.

뒤이어 128기가 메모리를 갖춘 맥(Mac) 워크스테이션에서 잰 속도가 공유됐다.

"dgx spark 랑 맥스 m4max 128 인데 지금 맥에서 Pi 물려서 30 ~ 40토큰 왔다갔다해서 코덱스 수준의 속도 나오구요"

다만 같은 참여자는 "약간 오바떠는 경향이랑 중간중간 한자 나오는거 있고…."라며 한계도 함께 짚었다. 속도는 상용 도구 수준까지 따라왔지만, 답변 스타일 자체는 아직 다듬어지지 않았다는 뜻으로 읽힌다. 속도와 품질이 항상 같은 속도로 개선되지는 않는다는 점을 함께 드러낸 셈이다.

그래픽카드 두 장을 물린 다른 구성의 수치도 나란히 올라왔다. 한 참여자는 "저는 qwen 3.8 3090x2 로 돌리는데 tps 는 50 대 나오네요~"라고 전했고, 또 다른 참여자는 "3.6보다 더 똑똑하고 더 똑똑하기때문에 같은 문제도 토큰 덜 써서 빨리 답을 내더라구요."라며 최신 모델일수록 같은 문제에 쓰는 토큰 수 자체가 줄어 체감 속도가 빨라졌다고 덧붙였다. 하드웨어 성능뿐 아니라 모델 자체의 효율이 함께 개선되고 있다는 관찰이었다. 같은 그래픽카드 구성이라도 어떤 모델을 올리느냐에 따라 체감 속도가 갈릴 수 있다는 뜻이기도 하다.

맥 워크스테이션의 초당 30 ~ 40토큰과 그래픽카드 두 장 구성의 50토큰대가 한 창 안에서 나란히 보고되면서, 로컬 환경에서도 상용 도구에 준하는 속도가 실측으로 확인된 밤이었다. 다만 한자가 섞이거나 답을 과하게 늘어놓는 경향은 아직 남은 과제로 함께 언급됐다. 속도만 놓고 보면 로컬 구성이 상용 도구를 따라잡았지만, 응답 품질의 미세한 흠은 별개의 숙제로 남아 있는 것으로 보인다. 서로 다른 하드웨어 구성의 수치가 한자리에서 비교된 덕분에, 다음에 로컬 환경을 꾸리려는 사람들에게는 참고할 만한 실측 기준이 하나 더 쌓인 셈이다.

새벽 시간대에 이런 실측 후기가 몰린 것도 눈에 띄는 대목이다. 낮 동안 쌓인 궁금증을 각자 조용히 실험해보고, 그 결과를 새벽에 풀어놓는 흐름이 방 안에서 반복되는 모습이었다. 구체적인 모델명과 하드웨어 사양, 토큰 수치까지 함께 공유된 덕분에, 같은 구성을 따라 해보려는 다른 참여자들에게는 실질적인 출발점이 될 만한 대화였다.