의회 회의록 자동 전사에서 막힌 화자 분리

21일 밤, 공공AX 네트워크에 의회 회의록 자동 전사를 모니터링하는 화면 이야기가 올라왔다. 소개한 참가자는 위스퍼로 전사하고 GPT 6 luna로 후보정하는 구성이라고 했다. 위스퍼는 음성을 글로 옮기는 인식 모델로, 대화에 따로 정의는 나오지 않았고 이 글의 풀이다. 후보정은 인식된 문장을 모델이 한 번 더 고치는 단계로 읽힌다.

이 참가자는 결과가 어느 정도 괜찮게 나오는 것 같다고 했다.

개인 PC가 전사하고, 웹이 나눠 보여 준다

구성의 중심은 업무용이 아닌 개인 PC 한 대다. 이 PC가 여러 회의 영상을 동시에 처리한다고 했다. 원래는 업무용 PC에서 개별로 돌아가는 로컬 전사 프로그램을 만들었다고 한다. 업무 환경에서는 돌릴 수 없다는 걸 알고 방향을 바꿨고, 지금은 개인 PC가 전사와 보정을 맡아 그 결과를 웹 중계 사이트로 보여 준다. 직원들이 PC 사양과 상관없이 볼 수 있게 하려는 것이다.

음성전사와 보정처리를 담당하고

실시간이냐는 물음이 나오자 이 참가자는 스스로 정정했다. 실시간이라고 하기는 어렵고, 영상 자체를 원본보다 늦춰 틀어서 사용자 눈에는 실시간 전사처럼 보이게 한다는 설명이었다. 농담 섞인 표현이었지만 구조는 분명하다. 전사에 걸리는 시간을 영상 지연으로 가리는 방식이다.

눈에 안보이면 그만~

비용 이야기도 있었다. 이 참가자는 다른 곳이 더 좋은 전사 모델을 API로 쓰는데 회의 한 번에 수천 원 이상 든다고 들었다고 했다. 거기는 예산이 있고 자신은 개인 비용으로, 어디까지나 비공식으로 운영한다고 선을 그었다. 이 금액은 전해 들은 것이라 대화만으로는 확인되지 않는다.

사람 수가 많으면 어려운 화자 분리

가장 큰 걸림돌은 화자 분리, 즉 누가 말하는지를 가르는 일이었다. 다른 참가자가 화자 분리를 잡기 어렵지 않느냐고 묻자, 소개한 참가자는 엔비디아 네모트론(Nemotron)을 쓰는데 분리할 수 있는 화자 수에 한계가 있고, 의회 규모에는 모자란다고 답했다.

그래서 회의가 뒤로 갈수록 화자 미인식이 늘어요

이 참가자의 대응은 요약 단계에 있다. 의회에서는 보통 발언자 이름을 같이 불러 주기 때문에, 회의록을 요약할 때 그 호명을 기준으로 다시 정리해 의원별 발언 내역을 만들게 해 두었다고 했다.

모델이 못하면 후보정으로 때워야죠 뭐

비슷한 어려움, 다른 기대치

여기에 다른 참가자들의 경험이 이어졌다. 화자 분리를 물었던 참가자는 네모트론이 완벽하지 않은 것 같다고 했고, 생각보다 마음에 들게 되지 않았다고 덧붙였다. 또 다른 참가자 한 명은 처음엔 인식을 잘하다가 시간이 갈수록 정확도가 떨어지고 누가 무슨 말을 하는지도 많이 틀려서 오류를 잡기 어려웠다고 했다. 이 참가자는 실시간을 포기하고 스크립트를 저장해 나중에 후처리하는 쪽으로 방향을 잡았다고 한다.

기대치에 관한 말도 나왔다. 화자 분리를 물었던 참가자는 담당자들이 정확하지 않아도 전사된 텍스트를 받는 것만으로 좋아하더라고 전했다. 이는 이 참가자 한 사람이 겪은 반응이다.

담당자가 안정확해도 전사된 텍스트 주는것만으로도 좋아하드라구요

22일 아침에는 또 다른 참가자가 코덱스나 클로드 코드를 쓰는 사람에게 목표 명령(/goal) 예시를 제안했다. 작업 상황을 자세히 적어 지연시간과 자막 정확도를 목표로 주면 오래 걸려도 개선이 된다는 것이다.

뭐가 개선이 됩니다

이는 제안일 뿐, 이 대화에서 그렇게 개선됐다는 결과가 보고된 것은 아니다.

왜 이 구성이 눈길을 끌었나

화자 분리를 물었던 참가자는 국회에는 실시간 자막이 있어 그나마 수월해 보인다고 짚었다. 소개한 참가자는 자신이 다루는 곳은 사정이 다르다고 답했다. 공식 수단이 닿지 않는 자리를 개인이 만든 전사 도구로 메워 보려는 시도로 읽힌다.

다만 이 사례에서 확인되는 것은 한 참가자의 비공식 운영 경험이다. 정확도에 대한 수치는 나오지 않았고, 세 사람이 비슷한 한계를 말했다는 점이 전부다. 화자 분리의 한계와 시간에 따른 인식 저하가 공통 어려움으로 보이며, 이를 호명과 후처리로 메우려는 것은 소개한 참가자의 설명이고 실제 효과는 확인되지 않았다. 소개한 참가자는 시간이 지나면 더 나은 모델이 해결해 줄 것이라는 기대도 내비쳤다.