실시간 AI 통역은 세 단계로 짜고, 일레븐랩스 클론은 원본과 구분이 어려웠다는 한 참가자의 경험담이 나왔다

10월 2일 금요일 밤 10시 38분, 더배러에서 한 참가자가 영어를 쓰는 고객과의 미팅이 부쩍 늘었는데 듣고 이해하기가 어렵다고 털어놓았다. 지금은 구글 실시간 번역으로만 따라가는 중이라며, 이를 AI로 만들 수 있을지 물었다.

이걸 실시간번역으로 ai로 만들어볼수있을까요..

가장 먼저 답한 참가자는 Realtime API를 쓰면 된다고 했고, 3분 뒤 구조를 정리했다. 음성 입력부터 번역, 음성 출력까지 한 번에 맡기는 올인원 Realtime API가 있고 단계를 나눈 분리형도 있다는 것이다.

STT > LLM (번역)- TTS 이 구조가 가장 흔한 거 아닐까 싶네요

음성을 글자로 바꾸고, 언어 모델이 번역하고, 다시 음성으로 읽어 주는 세 단계라는 뜻이다. 같은 참가자는 턴테이킹이 부드럽게 넘어가려면 비싼 것을 써야 하고, 싼 것을 쓰면 사람들이 바로 외면한다고 덧붙였다.

도구 비교와 클론 경험담

이어 도구 비교가 붙었다. 그 참가자는 fish ai와 beevoice가 가성비는 약간 있지만 품질은 gemini, openai, 일레븐랩스 쪽을 써야겠더라고 했고, OpenAI Realtime API와 Gemini Live API 문서 링크를 올렸다. 판소리를 학습시켜 흉내 낸 fish audio 목소리를 유튜브 링크로 들려주기도 했다.

목소리 복제 이야기는 다른 참가자가 열었다.

V4 Pro voice clone해서 써보는데 그냥 아예 넘사벽입니다

이 참가자는 일레븐랩스 V4 Pro로 만든 10분 55초짜리 음성에서도 목소리가 무너지지 않았다고 전했고, 퍼포먼스 태그를 따로 달지 않아도 숨을 쉬어 가며 읽는 느낌까지 난다고 했다. 아나운서 목소리 59분 분량의 무손실 음원으로 복제해 봤더니 AI 아나운서와 구분하지 못하겠다는 설명도 덧붙였다. 복제에 쓴 음원은 가족에게 부탁해 받은 것이라고 전했고, 그 밖의 권리 관계는 대화에 나오지 않았다. 반면 또 다른 참가자는 자기 목소리 복제는 모두 실패했다며, 사투리 때문인 듯하다고 말했다.

한국어 라이브러리와 비용

구조 설명을 했던 참가자는 서비스에 붙이려면 너무 비싸다고 했고, 일레븐랩스의 가장 큰 단점으로 한국어 라이브러리가 약하다는 점을 꼽았다. 한국어라면 typecast가 라이브러리가 많고 쓸 만하다는 말도 나왔다.

이 대화에서 반복된 것은 새 제품 이름이 아니라 비용과 자연스러움의 맞교환으로 보인다. 대화가 매끄럽게 넘어가려면 비싼 도구가 필요하다는 말과, 품질 좋은 클론은 서비스에 붙이기엔 비싸다는 말이 같은 방향을 가리킨다. 다만 복제 품질 평가는 두 참가자의 사용 경험이고 복제 실패 이유도 추정에 그쳐, 이 대화만으로 도구 순위를 매기기는 어렵다. 영어 미팅용 통역이 실제로 만들어졌는지도 대화가 끝날 때까지 나오지 않았다.