영어 특화 OCR 도구와 한국어 벤치의 간극

일요일 밤 11시 9분, 에이전트코리아 방에 혼잣말에 가까운 한 줄이 올라왔다. 언급된 새 도구를 써 봐야 하나 하는 고민이었다. 다른 참가자가 설명만 봐서는 텍스트 OCR이 어느 정도일지 궁금하다고 하자, 곧바로 단호한 답이 돌아왔다.

저거 OCR은 안됩니다

답한 참가자는 저런 것이 나왔다 하면 다 써 봤다며 이유를 덧붙였다. 영어에 특화된 학습이라 한국어에서는 더 못하더라는 것이다. 처음 고민했던 참가자는 영어 문서를 긁어올 때나 써 봐야겠다고 물러섰다. 도구의 이름값보다 어떤 언어로 학습됐는지가 쓸모를 가른다는 점이 첫 대목에서 정리된 셈이다.

최고의 한국어 OCR은 무엇인가

11시 12분 한 참가자가 정면으로 물었다.

최고의 한국어 OCR은 무엇입니까!?

답은 순위표 대신 링크와 한 줄이었다. 허깅페이스에 올린 KoOCR 벤치 데이터셋을 공유하며, 자기 쪽 데이터라서 바로 나온다고 했다. 영어 쪽에서는 텍스트와 표 내용을 얼추 찾는다고 하지만 한국어에서는 아직이라는 평가가 이어졌다. 이 판단에는 단서가 붙는다. 근거로 든 벤치 데이터가 답한 사람 본인 쪽 것이라는 점은 스스로 밝힌 부분이므로, 결과를 읽을 때 감안해야 한다.

작은 모델과 비교해 어느 정도 급이냐는 후속 질문도 나왔지만 방 안에서 답은 달리지 않았다. 그림만으로 처리하는 방식이라면 언어는 큰 상관이 없을 것 같다는 다른 참가자의 의견도 확인 없이 지나갔다.

섞어 쓰라는 조언

실용적인 조언은 11시 15분에 나왔다.

mistral 하고 gemini 섞어쓰면 보통은 다 해결됩니다

코덱스 명령으로 루나에게 OCR을 시켜도 된다는 말도 뒤따랐다. 단일 모델에 기대는 대신 서로 다른 계열의 모델을 섞어 약점을 메우라는 취지로 읽힌다.

온도를 낮춰도 남는 환각

11시 33분에는 경고가 붙었다. 며칠 전 아기들 일기를 OCR로 시키던데 잘되고 있느냐는 물음에, 필기를 올리니 일반 본문 성능도 조금 떨어지고 있어서 MoE라도 적절히 안 겹치게 올려 보는 중이라는 답이 있었다. 이어 이런 말이 나왔다.

VLM 모델들의 경우 환각으로 temp 0에 가깝게 두더라도 환각을 내뱉는게 일상이라서

무작위성을 가장 낮춰도 글자를 지어내는 일이 흔하다는 뜻이다. OCR처럼 정답이 정해진 작업에서도 그럴듯하게 틀린 글자가 섞일 수 있다는 점은, 사람이 결과를 다시 확인해야 한다는 이야기로 이어진다.

이 대화가 시사하는 바는 한국어 문서 처리에서 새 도구를 도입하기 전에 한국어 기준의 비교가 필요하다는 점이다. 영어 특화 도구는 한국어에서 약할 수 있고, 모델을 섞는 조합과 별도 검증이 현실적인 대안으로 제시됐다. 다만 이는 한 참가자의 경험과 자체 벤치에 기댄 판단이며, 방 안에서 점수로 비교된 결과는 나오지 않았다.