816B 규모 모델과 MoE 파인튜닝 난이도

점심을 앞둔 에이전트코리아에 모델 규모 하나가 올라왔다. 오전 11시 26분 한 참가자가 숫자만 짧게 알렸다.

816B라네요

816B는 대화에서 모델의 매개변수 규모로 언급된 표기다. 모델 이름은 나오지 않았고(한 참가자가 메타에서 힌트를 많이 줬다고 말하긴 했다), 오간 이야기는 816B라는 규모와 구조에 대한 것이었다.

먼저 번진 것은 장비 이야기

첫 반응은 공개 범위에 대한 평이었다. 한 참가자가 가중치까지 힌트를 많이 준다고 말했다.

메타에서 힌트 많이 주네요 weight 까지

곧바로 어떤 장비로 돌릴 수 있느냐는 계산으로 넘어갔다. 한 참가자는 램이 1TB만 있어도 오프로딩(메모리에 다 못 올려 일부를 램 등으로 내려 두는 방식)이 가능하겠다고 했고, 다른 참가자는 맥 스튜디오 512 두 대면 된다고 받았다.

맥 스튜디오 512 두개면 됩니다

이어 한 참가자가 로딩은 맥 스튜디오에서 해두고 나머지 연산만 pro6000(고성능 그래픽카드)으로 보내면 되겠느냐고 물었다. 이 질문에 대한 확답은 대화에 나오지 않았다. 비용이 만만치 않다는 반응이 사이에 끼어들었지만, 수치로 따지는 대목은 없었다.

벤치는 올랐는데

성능 평가는 한 줄로 요약됐다. 한 참가자는 벤치 점수가 크게 올랐어도 실작업 쪽은 기대에 못 미친다고 적었다.

벤치가 저렇게 올랐는데, 실작업 벤치가 기대치보다는 떨어지네요.

바로 다음 발화에서 터미널 얘기가 나왔고, 새 모델이 나올 때마다 늘 그랬다는 말이 붙었다. 그러면서도 좋은 모델 같으니 써봐야겠다는 말과, 쓸 수 있는 사람이 부럽다는 말이 함께 나왔다. 벤치 수치 자체는 대화에 올라오지 않아 어느 정도 올랐는지는 확인되지 않는다.

옆에서는 다른 쪽이 증류해 주지 않겠느냐는 농담이 이어졌고, 한 참가자가 앤트로픽이 증류 방지를 하고 있다는 글이 올라왔다고 언급했다.

증류 방지 90% 하고 있다고 포스팅올렸던데

그 참가자는 글을 아직 읽지 않았다고 덧붙였다. 따라서 이 수치는 확인된 사실이 아니라 대화 속에서 전해진 언급으로만 읽어야 한다.

256 top 8, 그리고 파인튜닝

11시 31분 한 참가자가 구조를 짚었다.

근데 256 top 8 이네요

이어서 요즘 MoE(전문가 여러 개 중 일부만 골라 쓰는 구조)가 대세라는 말과 함께, 파인튜닝 난이도가 훨씬 높은 것 같다는 의견이 나왔다.

MoE 가 파인튜닝 난이도가 훨씬 높은것 같아요

이유로는 전문가끼리 서로 직교하면 다행인데 까 보면 그렇지 않은 경우가 많다는 설명이 붙었다. 그냥 더 거대한 덴스(전문가 구분 없이 통째로 쓰는 일반 구조) 모델처럼 학습시키는 경우도 많다고 들었다는 말이었고, 말미에는 의문이 남았다.

왜.. 특화가 안되어있지...

같은 시각 한쪽에서는 저사양에서도 거대 모델을 돌릴 수 있는 개발을 해 달라는 농담조 요청도 올라왔다. 다만 MoE 파인튜닝이 어렵다는 말은 한 참가자의 「같아요」 수준 의견이어서, 구조 전반에 대한 확정 진단으로 보기는 어렵다.

읽을 거리

이날 관측에서 큰 모델 소식은 성능 수치보다 돌릴 수 있는 하드웨어 이야기로 먼저 번졌다. 램 1TB와 맥 스튜디오 두 대라는 구체적 장비가 몇 분 안에 오갔고, 성능은 실작업이 기대에 못 미친다는 한 줄 평으로 맺혔다. 규모가 커질수록 공개 여부보다 직접 돌리고 다듬을 수 있느냐가 관심의 중심에 놓인다는 점을 시사한다.