실시간 통번역의 마지막 벽은 농담이었다

전날 저녁 대화는 행사장에서 쓸 실시간 자막·통역 서비스를 찾는다는 질문 하나로 열렸다. 관건은 처리 속도였다. 이미 나와 있는 상용 서비스와 대형 클라우드의 음성 인식은 빨라도 2초라 현장 요구를 맞추지 못한다는 진단이 먼저 깔렸다.

"지연율 1초 미만으로 ... 혹시 아시는 사스나 API 있으신분 추천좀 부탁드릴수 있을까요 ?"

질문을 던진 참가자가 그린 그림은 꽤 구체적이었다. 행사 참석자에게 이어폰으로 통역을 흘려보내면서 동시에 화면 자막까지 띄우는 구성이고, 필요한 방향도 한쪽이 아니라 영어와 한국어 쌍방향이었다. 다국적 참석자가 늘면서 자막 수요가 거의 실시간에 가까워졌다는 설명이 붙었다.

기술 쪽 답변은 저지연 구간에서 쓸 만한 모델을 고르는 문제로 이어졌다. 경량 플래시 계열이라면 속도가 나오지 않겠느냐는 의견이 나왔고, 번역을 뒤에 별도 단계로 붙이면 지연이 그만큼 쌓이니 음성을 텍스트로 옮기는 단계에서 곧장 처리해야 한다는 지적이 뒤따랐다. 받아쓰기 자체는 이미 쓸 만한 선택지가 많다는 데 이견이 없었다.

"Audio 2 Text 과정에서 바로 박는게 필요하져 아무래도"

정작 논의를 멈춰 세운 것은 다른 대목이었다. 한국어 발화의 동음이의와 말맛을 영어로 옮기려면 단어 대응이 아니라 농담의 구조 자체를 다시 짜야 한다는 이야기가 나오면서다. 여기에 지연 제약이 겹치면 난이도가 한 단계 더 올라간다. 초월번역에 가까운 의역은 모델이 문맥을 충분히 굴려야 나오는데, 1초 안에 끝내야 하는 구간에서는 그럴 여유가 없다는 것이다.

"얼굴에 김뭍었어요.. 잘생김 > 얼굴에 썸띵있어요. 핸썸.. 이런거"

"인종과 지역 문화까지 아우르는 농담은;;;;"

우회안도 나왔다. 발표 본문은 번역본을 미리 만들어 두고 회사 자료를 함께 넣으면 해결이 가능하다는 것인데, 정작 업체 쪽에서는 그럴 거면 자막을 미리 써 넣는 것과 무엇이 다르냐는 반응이 돌아왔다고 한다. 즉흥 발화를 실시간으로 받아내는 것이 이 수요의 핵심이라는 뜻이다. 그래서 다음으로 나온 아이디어가 사전 인터뷰 녹취를 미리 번역해 두는 방식, 그리고 화자별로 농담 성향을 정리해 두는 구조였다.

"저거 만들라면... 그럼 농담하는 사람의 성향 파악해서 개개인별 온톨로지를 만들어야 하나;"

이 흐름은 통번역의 병목이 어디로 옮겨가고 있는지를 보여준다. 지연 시간은 모델 선택과 파이프라인 설계로 줄여볼 여지가 있는 공학 문제지만, 말장난과 지역 문화는 모델을 바꾼다고 해결되는 축이 아니다. 화자별 온톨로지나 실시간 밈 수집 같은 제안이 나온 것도 이 문제를 성능이 아니라 맥락 데이터 확보 문제로 다시 정의한 결과로 보인다.

행사 통역이라는 구체적 수요에서 출발한 논의가 맥락 데이터라는 과제로 닫힌 셈이다. 마지막에 붙은 한마디는 기준선을 농담으로 요약했는데, 속도 지표는 숫자로 비교할 수 있지만 농담이 통했는지는 그렇지 않다는 점에서 이 영역의 품질 기준이 아직 합의되지 않았다는 사실도 함께 드러났다.

"GOAT 가 염소로 나오는것 수준으로"