OCR·ASR·PII를 떼어내 LLM은 검색과 추론만 맡기는 설계

새벽 2시 36분, 장애도 사용량 성토도 한 차례 지나간 방에 결이 다른 문장이 올라왔다. "5.5B인데 화자분리 & 음성인식이 되는 모델" 누가 말하고 있는지 가려내는 일과 그 말을 글자로 옮기는 일을, 한 모델이 함께 처리하도록 붙이는 실험에 성공했다는 이야기였다.

바로 다음 줄에는 잘 풀리지 않는 쪽의 고충이 왔다. "OCR 모델은 왜 자꾸 기존 벽이 잘 안부숴지지…. 하나 부수면 하나 악화되고" 문서 인식 쪽은 한 지표를 끌어올리면 다른 지표가 내려앉는다는, 이 분야에서 익숙한 교환 관계였다. 그리고 2시 39분, 이 실험들이 어디를 향하는지가 한 문장으로 정리됐다. "OCR, ASR, PII 잡았으면 이제 VQA 로 하나씩 올려나가면서 LLM이 모든걸 가진게 아니라 검색하고 추론만 하는 역할로 보내도록이 저희 플랜" 옆에서 "효율적 분담이군요?"라는 확인이 들어오자, 입력단에서 대형 모델을 쓰기 아까운 부분을 특화 모델로 최적화하는 것이 자기 팀의 방향 중 하나라는 설명이 이어졌다.

이 설계의 요지는 역할을 쪼개는 데 있다. 문자 인식, 음성 인식, 개인정보 검출처럼 입력을 다듬는 일은 작고 특화된 모델에 맡기고, 큰 언어 모델은 그 결과 위에서 찾고 따지는 일만 한다. 5.5B라는 크기가 그래서 중요하다. 범용 대형 모델에 비하면 작고, 자체 장비에서 돌려 볼 만한 규모다. 입력단을 떼어내면 매 요청마다 대형 모델에 밀어 넣던 원본 데이터가 줄고, 개인정보처럼 밖으로 내보내기 곤란한 항목은 앞단에서 걸러진다. 하나를 고치면 하나가 나빠진다는 고백은 이 접근의 실제 비용이 어디에 있는지도 함께 보여 준다. 특화 모델을 여러 개 세운다는 건 각각을 따로 붙들고 있어야 한다는 뜻이다.

이 방향 자체가 새로운 주장은 아니다. 다만 이날은 그것이 발표 자료가 아니라 새벽 2시의 실험 결과로 나왔다는 점이 달랐다. 화자분리와 음성인식을 한 모델에 붙였다는 성공 보고와, 문서 인식 쪽에서 막혀 있다는 실패 보고가 같은 사람의 같은 시간대 메시지로 나란히 올라왔다. 어느 쪽이 되고 어느 쪽이 안 되는지를 같이 적었다는 점에서, 이 설계가 아직 계획이 아니라 진행 중인 작업이라는 사실도 함께 드러났다.

같은 밤 이 방을 채운 다른 이야기들과 나란히 놓으면 대비가 뚜렷하다. 한쪽에서는 서비스가 멈춰 아무것도 못 하는 시간을 견뎠고, 다른 쪽에서는 병렬 개수와 토큰 한도가 벽이었다. 둘 다 대형 모델에 얼마나 기대고 있는지를 보여 주는 다른 얼굴이다. 입력단 처리를 떼어내자는 제안은 그 의존을 구조적으로 줄이는 방향에 서 있다. 두 사람이 13개 메시지를 주고받은 짧은 대화였지만, 그날 새벽 이 방에서 나온 이야기 중 가장 멀리 보는 축이었다.