구글 Foresight와 한국어 음성인식의 한계

오전에 에이전트코리아 방에서 한 참가자가 구글 포사이트(Foresight)를 써 본 사람이 있느냐고 물었다. 대화 속 설명으로는 무료이고 기기 안에서 도는(온디바이스) 구글의 음성인식 도구로 보이나, 정확한 정의는 대화에서 확인되지 않는다. 얼마 뒤 교육 현장에서 써 봤다는 참가자가 답을 달았다. 이 화제에는 8명이 91건을 주고받았다.

영어는 잘하지만 한국어는 실사용하기 어렵다는 것이 그의 평가였다. 무료이고 온디바이스라는 장점은 인정했다.

무료고 온디바이스인건 장점이었지만 근데 한국어는 실사용하긴 좀 그렇다.. 가 제 결론이었습니다

한국어 회의를 못 알아듣는다

오후에는 직접 만들어 보려던 이야기가 올라왔다. 질문한 참가자는 한국어 ASR(음성을 글로 바꾸는 음성인식)을 달아 로컬로 만들려 했다고 적었다. 결과는 아쉬웠다.

한국어 회의인데 전혀 인식을 못하네….

이 말은 한 참가자의 개인 시험 결과다. 어떤 설정으로 시도했는지는 대화에서 확인되지 않는다.

처방은 전처리와 평가에 걸렸다

다른 참가자는 점검할 항목을 나열했다. 음성 구간을 나누는 VAD(음성 구간 검출), 평가지표, 글을 모델이 읽는 단위로 쪼개는 규칙인 한국어 토크나이저가 먼저 나왔고, 한국어 전용이라면 센스보이스를 써 보라는 추천이 붙었다. 센스보이스는 대화에서 음성인식 도구로 언급됐다. 화자분리와 whisper 조합 같은 노하우도 함께 거론됐다.

한국어 전용이면 센스보이스 ㄱ

처음 질문한 참가자는 다른 길도 탐색했다고 적었다. 같은 계산을 반복해 쓰는 looped transformer를 쓴 98M 음성인식 모델이 소개됐지만, 그는 그 방향을 접었다고 했다.

그래서 encoder free - looped transformer로 OCR… ASR… 생각하다가 고스란히 접었습니다

이 방식에는 비판도 따랐다. 반복 추론을 쓰는 이 방식이 CoT(모델이 풀이 과정을 단계별로 적는 추론)를 약하게 만들어 검증이 어렵다는 말이 나오고 있다는 것이다.

검증이 어렵다느니 이런 소리 나오고 있어요

해석과 추세

이 대화가 시사하는 바는 한국어 음성인식의 어려움이 특정 모델의 성능 한 줄로 설명되지 않는다는 점이다. 같은 한국어 회의를 두고도 처방이 모델 교체가 아니라 음성 구간 검출, 평가 방식, 토크나이저 같은 앞뒤 단계로 흩어졌다.

전날 대화 요약에도 비슷한 결이 있었다. 한 참가자가 언급된 OCR 도구는 영어 특화라 한국어에서는 더 못한다며 직접 만든 한국어 OCR 벤치 데이터셋을 공유했다. 이틀 연속 한국어 처리의 한계가 화두로 올라온 셈이지만, 음성과 문자라는 서로 다른 영역이어서 같은 원인으로 묶을 수는 없다.

또한 이번 평가는 교육 현장에서 써 본 소수의 경험과 개인 시험에 기댄 것이다. 한국어 인식 성능 일반에 대한 결론으로 받아들이기보다, 현장에서 어떤 점검 목록이 오갔는지 보여 주는 기록으로 읽는 것이 맞다.