웹소설 맞춤법에 소형 모델 튜닝을 권하는 말이 나온 자리

일요일 밤 9시 24분, 에르메스단 방에서 하드웨어 이야기가 갑자기 학습 쪽으로 방향을 틀었다. 한 참가자가 이런 학습도 DGX가 좋으냐고 물은 것이다.

와 잠만 laya 같은 jevlike 학습도 dgx가 좋나요?

방에서 laya, semif, jevlike라고 부르는 모델 계열이 섞여 나온 질문이었다. 질문한 참가자는 튜닝이 시급하다며 클라우드를 빌려 미리 맛이라도 볼지 고민하는 중이었다. 답은 의외로 현실적이었다. 다른 참가자가 이런 모델을 학습시킬 때는 결국 게임용 PC를 쓴다고 한 것이다. 같은 시간에 훨씬 여러 번 시험해 볼 수 있기 때문이라는 이유였다.

눈이 돌아간 이유

9시 25분 같은 참가자가 한 가지 선택을 풀어 설명했다. 한 모델 대신 다른 모델로 눈이 돌아간 이유는 입력 컨텍스트의 차이가 커서라는 것이다. 출력물을 다시 같은 모델에 넣고 다중 경로 계산을 시키면 정확도가 높아지고, 다른 모델이 닿지 못하는 영역까지 가서 비교 대상과 비슷하게 나오는 것 같다고 했다. 속도가 조금 느리다는 단점도 숨기지 않았다. 다만 이는 체감에 가까운 말이며, 방 안에서 측정값은 올라오지 않았다.

90%의 벽

같은 시각 질문한 참가자는 본론을 꺼냈다.

웹소설 전용 맞춤법 스킬 깎고 있는데 루나랑 하이쿠론 뭔짓을 해도 90% 이상 정확도가 안 나오네요....

범용 모델에 지침을 붙이는 방식, 곧 스킬로는 아무리 다듬어도 정확도가 90%를 넘기지 못한다는 호소다. 웹소설은 구어체와 의성어, 장르 특유의 표현이 많아 일반 맞춤법 규칙만으로는 틀린 곳과 의도된 곳을 가르기 어렵다는 해석이 가능하지만, 이 풀이는 대화에서 나온 것이 아니라 상황에서 이어 본 추정이다.

이에 대한 권유는 한 줄로 돌아왔다.

맞춤법 목적이시면 역시 gemma 베이스로 깎아보심이...

다른 참가자도 튜닝을 해야 한다며 거들었다. 질문한 참가자는 gemma가 젬마가 아니라 감마였느냐며 발음을 뒤늦게 알았다고 해, 긴장된 기술 대화에 웃음이 섞였다.

지침으로 안 되면 모델을 깎는다

이 대화가 시사하는 바는 좁고 정답이 분명한 작업일수록 범용 모델에 지침을 얹는 방식의 한계가 일찍 온다는 점이다. 맞춤법처럼 기준이 명확한 일은 작은 모델을 그 용도에 맞게 다시 학습시키는 쪽이 대안으로 떠오르고, 그 학습은 클라우드보다 손에 가까운 개인 장비에서 여러 번 돌려 보는 편이 낫다는 경험도 같이 나왔다.

다만 튜닝으로 90%를 넘길 수 있을지는 방 안에서 확인되지 않았다. 질문한 참가자가 실제 튜닝에 들어갔는지, 결과가 어땠는지도 이 대화에는 나오지 않는다. 지금 확인되는 것은 시도하려는 방향과 그 방향을 권한 근거뿐이다.