LLM 개발용 GPU, 답은 목표 파라미터부터
예산을 정해놓고 GPU 구성을 묻는 질문에, 카드 연결 방식과 목표로 하는 모델 파라미터 규모부터 정하라는 답이 돌아왔다. 장비 스펙보다 개발 목표를 먼저 정하는 순서가 맞다는 인식을 시사한다.
LLM 개발용 장비를 고르는 질문에서 이날 대화가 마무리됐다. 한 참여자가 두 종류의 그래픽카드 구성 중 무엇이 나을지 물으며 화두를 던졌다. 예산을 이미 정해놓고 그 안에서 최선의 조합을 찾으려는 질문이었다.
"Rtx 6000 2대가나을까요? 5090대가 좋을까요?"
이에 대한 답은 곧바로 카드 간 연결 방식을 짚는 데서 시작했다. 한 참여자는 카드를 두 장 쓸 경우 엔비디아링크(NVLink) 연결이 되지 않는 구성인지부터 꼭 확인하라고 조언했다.
"rtx 6000 nvlink 안되는거 꼭"
카드를 여러 장 묶어 쓸 때는 카드 간 대역폭이 실질적인 병목이 될 수 있다는 점을 짚은 셈이다. 카드끼리 직접 연결되지 않는 조합이면 장수를 늘려도 기대한 만큼의 성능 향상을 얻지 못할 수 있다는 우려가 깔려 있다. 엔비디아링크가 지원되지 않는 조합에서는 카드 두 장을 붙여도 사실상 각자 따로 도는 것에 가까워, 이론적인 총 메모리 용량만 늘어날 뿐 하나의 거대한 모델을 이어서 돌리는 용도로는 기대에 못 미칠 수 있다는 뜻이다. 이 지적이 예산 규모와 무관하게 가장 먼저 나온 것도, 연결 방식이 카드 개수보다 실사용에 더 결정적인 변수라는 판단이 깔려 있는 것으로 보인다. 이런 조언이 나온 배경에는 값비싼 카드를 여러 장 사들이고도 정작 기대한 성능을 못 얻는 사례가 드물지 않다는 경험이 깔려 있는 것으로 보인다. 카드 수를 늘리는 데 드는 비용은 눈에 보이지만, 연결 방식의 한계로 인한 손실은 실제로 써봐야 드러나는 경우가 많기 때문이다.
이어진 답변은 장비 스펙 비교보다 더 근본적인 질문으로 돌아갔다. 결국 어떤 규모의 파라미터를 돌리려는 것인지부터 정해야 카드 구성도 정해진다는 지적이었다.
"돌리려는 파라미터가 몇인지부터 알아버셔유"
세 마디로 짧게 오간 대화지만, 장비 예산과 스펙을 먼저 정하고 목표를 나중에 맞추는 접근이 아니라 개발하려는 모델의 규모를 먼저 확정한 뒤 거기에 맞는 하드웨어를 고르는 순서가 맞다는 원칙이 재확인된 셈이다. 카드 두 장이냐 한 장이냐를 둘러싼 질문은, 결국 얼마나 큰 모델을 돌릴 것이냐는 질문으로 되돌아간 것으로 보인다. 장비를 먼저 정하고 목표를 거기 맞추면, 정작 필요한 연산량에 비해 장비가 과하거나 부족한 결과로 이어질 수 있다는 점에서 이날 나온 조언은 실용적인 체크리스트로 읽힌다. 이 원칙은 앞서 기기를 나눠 쓰는 원격 운영 이야기나, 노트북 수준의 6GB VRAM에서 동작하도록 압축한 이미지 모델 공유와도 맞닿아 있다. 결국 장비 규모가 크든 작든, 먼저 정해야 할 것은 감당하려는 작업의 크기이지 손에 쥔 예산이나 장비 스펙이 아니라는 점에서 이날 방에서 오간 여러 대화가 같은 결론으로 수렴하는 모습이다.