6GB에 담은 온디바이스 음성 모델, 양자화 과정과 공개
한 참가자가 OCR 모델을 접고 손대고 있는 음성 모델 이야기를 꺼냈다. 15GB짜리 원본을 한땀한땀 양자화해 6GB에 STT와 스트리밍, 화자분리를 함께 넣었고 최대 목표는 3GB라고 했다. 다른 멤버가 클로바노트와의 차이를 묻자 로컬 모델이라 답했고, 일부 휴대폰에서도 돌아가기 시작할 것 같다고 덧붙였다. 오전 중 허깅페이스에 중간 부산물 모델을 올렸다.
오전 10시 17분, 한 참가자가 지친다는 말로 근황을 열었다. OCR 모델을 만지다가 요즘은 음성 모델 쪽을 보고 있다는 이야기였는데, 뒤이어 붙은 한 줄이 방의 시선을 끌어당겼다.
"6GB에 STT & Streaming & 화자분리"
전사와 실시간 스트리밍, 화자분리를 한 덩어리에 넣고도 6기가바이트라는 말에 곧바로 질문이 붙었다. 그럼 휴대폰에 넣어도 되느냐는 물음에 일부 휴대폰에서는 돌아가기 시작할 것 같다는 답이 왔고, 맥에서는 당연히 된다는 말이 이어졌다. 다른 참가자가 "클로바노트랑 다른건 로컬인가요?"라고 묻자 로컬 모델이 맞다는 확인이 돌아왔다. 녹취 데이터를 밖으로 내보내지 않아도 된다는 점에서 데이터는 내 것이 좋다는 반응이 곧바로 따라붙었다.
목표치는 그보다 더 아래였다. "최대 목표는…. 3GB 정도..?"라는 말에 그러면 구형 폰에서도 돌아가겠다는 반응이 나왔고, 그다음 관심은 남은 성능을 좌우할 마이크와 스피커 쪽으로 옮겨 갔다. 이런 작업에 그래픽 자원이 얼마나 드는지를 묻는 질문도 함께 올라왔다. 용량을 줄이는 방법도 함께 공개됐다. 일본어와 중국어 능력을 덜어내고 한국어를 조금 채우고 영어를 보강한 뒤 잘라 냈다는 설명이었다. 베트남어도 넣어 달라는 요청에는 데이터가 없어서 안 된다는 답이 돌아왔다. 어떤 언어를 남기고 어떤 언어를 버릴지가 곧 모델 크기라는 사실이 짧은 문답에 그대로 드러난 셈이다.
작업 방식에 대한 질문도 나왔다. 프루닝을 한 것이냐는 물음에, 원래 15기가바이트인 모델이 나오자마자 한땀한땀 양자화했다는 답이 붙었다. 양자화를 하면서 중요도를 좀 덜었다는 설명도 이어졌다. 그리고 이 작업의 진짜 무게가 어디에 있는지에 대한 한 줄이 나왔다.
"자르거나 양자화 자체는 쉬운데, 검증하거나 복구학습에는 들어가지요"
줄이는 일보다 줄인 뒤에 성능이 살아 있는지 확인하고 되살리는 일이 비용이라는 이야기다. 오전 11시 11분에는 추가 학습본이 아닌 중간 부산물 모델을 허깅페이스에 올렸다는 공유가 뒤따랐다. 오늘 중으로 올려 주겠다던 약속이 한 시간이 채 지나기 전에 지켜진 셈이다. 그 사이 방에서는 빨리 내놓으라는 재촉과 또 뺏기는 것 아니냐는 농담, 설렌다는 반응이 번갈아 올라왔다. 저녁 무렵에도 성능은 보존하면서 양자화만 해 뒀다는 설명이 다시 붙었고, 벤치 성능이 처참해 따로 파인튜닝 중이라는 후속 상황도 공유됐다.
클로바노트와 무엇이 다르냐는 질문에 로컬이라는 한 단어로 답이 정리됐다는 점도 이 대화의 축이었다. 녹취를 밖으로 내보내지 않아도 되는지가 도구 선택의 첫 기준이 되는 환경이 있고, 그 기준을 통과하려면 모델이 기기 안에 들어갈 만큼 작아야 한다는 순서다. 이 대화가 특별했던 것은 결과물이 아니라 과정이 통째로 공개됐다는 점이다. 원본 용량과 목표 용량, 어떤 언어 능력을 덜어냈는지, 무엇이 쉽고 무엇이 비싼지가 순서대로 나왔고, 그 사이에 공개 저장소 주소까지 붙었다. 온디바이스 음성 모델의 문턱이 개인이 만져 볼 수 있는 수준까지 내려왔다는 신호로 읽힌다. 동시에 벤치 성능이 처참하다는 자평이 같은 날 함께 나왔다는 점도 중요하다. 용량을 줄이는 일과 쓸 만한 품질을 지키는 일은 아직 별개의 과제이고, 그 간극을 파인튜닝이 메우고 있다는 것이 이날 공유의 정확한 위치다. 어떤 언어를 덜어냈는지까지 밝혀 둔 덕분에, 이 모델이 어떤 환경에서 유리하고 어떤 환경에서 불리할지를 쓰는 쪽이 미리 가늠할 수 있게 된 점도 이 공개 방식의 실익으로 보인다.