실시간 STT는 아직 위스퍼, 화자분리와 응답 지연이 갈랐다

저녁 무렵인 오후 4시 56분, 한 참가자가 실무 질문 하나를 던지면서 그날의 마지막 긴 대화가 시작됐다.

"실시간 환경에서 STT 가장 성능 좋은게 whisper로 보이는데, 혹시 직접 실험해보신 것 중에 STT 괜찮으신 것 있으셨나요?"

곧바로 위스퍼 말고 더 좋은 게 나왔다더라는 반응이 붙었지만 이름은 떠오르지 않았고, 질문자가 먼저 자기 측정치를 꺼냈다. 실제 운영 녹취 데이터와 공개된 한국어 음성 데이터셋 여러 개를 함께 돌려 봤는데, 자기 운영 환경 기준으로는 위스퍼의 CER이 가장 낮았다는 설명이었다. 큐원이나 네모트론 같은 최신 후보와 비교해도 그랬다고 했다. 문자 오류율을 자체 데이터로 재 본 결과라는 조건이 앞에 붙어 있었다는 점이 이 대화의 성격을 정했다.

다른 참가자가 그 목록에 하나를 더 얹었다. 위스퍼와 큐원, 바이브보이스 셋을 놓고 보면 큐원보다는 바이브보이스 쪽이라는 정리였고, 위스퍼에 대해서는 유보가 붙었다.

"whisper는 파인튜닝이 많이 나와서 좋은 케이스중 하나입니다만 한계는 뚜렷합니다"

여기서 축이 갈라지기 시작했다. 바이브보이스는 엊그제 나온 모델이지만 스트리밍과 화자분리가 좋고, 오픈소스 계열에서 그 둘이 함께 되면서 성능도 꽤 나오는 것은 거의 유일하다는 설명이 이어졌다. 앞으로 파인튜닝의 기준점이 될 것 같다는 전망도 붙었다. 반면 질문자 쪽은 동시 처리 지연을 걱정했다. 실시간 처리 속도와 동시 처리량이 함께 보장돼야 하는 환경이라, 화자분리가 붙어 있으면 오히려 쓰기 애매하다는 것이었다.

위스퍼는 화자분리가 안 되지 않느냐는 지적이 나오자 답이 명확해졌다. 고객과 상담사 채널이 이미 분리된 상태로 음성이 들어오기 때문에 고객 음성만 전사하면 되고, 실시간 환경에서는 화자분리 자체가 필요 없다는 설명이었다. 그리고 결정적인 조건이 뒤에 붙었다. 첫 응답까지 걸리는 시간이 곧 성과 지표라는 말이었다. 그 말을 듣자 상대의 결론도 뒤집혔다. "그런 경우엔 위스퍼가 최고죠"라는 한 줄이 그 자리에서 나왔다.

이어진 대화는 왜 그런 제약을 안고 가는지를 설명했다. 응용 프로그램 인터페이스를 쓸 수 없는 업종이라 오픈소스로 갈 수밖에 없고, 자체 개발 모델은 아직 위스퍼에 못 미쳐 데이터 라벨링을 계속하며 성능이 비슷해지면 교체할 계획이라고 했다. 녹취 데이터는 30만 건 정도 모였고, 새 모델이 나올 때마다 운영 데이터셋으로 다시 돌려 본다고도 했다. 벤치 측정에는 공개 상담 음성과 저음질 전화망 데이터셋, 자체 테스트 세트 1만 건과 짧은 발화 300건 정도를 함께 쓴다고 했다. 그럼에도 아직은 위스퍼라는 것이 그날의 결론이었다. 라벨링 비용이 만만치 않다는 이야기가 뒤에 붙은 것도 같은 맥락이다.

이 대화가 남긴 것은 순위표가 아니라 조건표다. 어느 모델이 좋으냐는 질문이 화자분리가 필요한가, 동시 처리량이 얼마인가, 첫 응답 시간이 지표인가라는 세 개의 질문으로 분해되자 답이 곧바로 달라졌다. 같은 위스퍼가 한계가 뚜렷한 모델이면서 동시에 최고의 선택이 되는 구조다. 기능이 많은 모델이 항상 유리한 것도 아니라는 점 역시 드러났다. 이미 채널이 분리돼 들어오는 환경에서 화자분리는 이득이 아니라 지연 비용에 가깝다. 공개 벤치마크 대신 자기 운영 데이터로 매번 다시 재 보는 방식이 왜 남는지도 이 대화가 설명한다. 새로 나온 모델이 더 좋다는 말과 우리 환경에서 더 낫다는 말이 서로 다른 문장이라는 것을, 이날 두 사람은 숫자와 조건을 주고받으며 확인한 셈이다.