한국어 OCR 학습의 한계와 젬마 이야기

오늘 오전, 에이전트코리아에서 한 참가자가 공개된 모델 페이지 링크를 올린 뒤 이렇게 적었다.

임베딩 젬마가 좋다는 이유

링크 주소에는 Phsoft-ai/Notesoop-STT-Ko-v1이라는 모델 이름이 들어 있지만 대화에서 설명되지 않았고, 젬마와의 관계도 적히지 않았다. 젬마는 공개된 인공지능 모델의 이름으로 쓰였다. 이 참가자는 이런 학습에 용이한 듯하다고 덧붙였고, 한참 뒤 같은 말을 다시 꺼냈다.

젬마가 저런거 만들기 쉬워요

저런 것이 무엇인지는 대화에서 확인되지 않는다. 다른 참가자가 고객사 전용 번역 프로그램을 만들기도 좋겠다고 반응하자, 처음 참가자는 저것이 나온 직후 사람들이 OCR 같은 것을 만들더라고 전했다. 저것이 무엇인지는 역시 확인되지 않지만, 말투로 보아 자신이 만든 이야기가 아니라 지켜본 이야기다. OCR은 이미지 속 글자를 읽어 문자로 바꾸는 기술이다. 환각은 모델이 없는 글자를 지어내는 오류를 말한다.

오후, 한국어 OCR을 써 본 평

오후에는 같은 참가자가 최근 나오는 OCR을 다 써 본다며 이렇게 평했다.

한국어는 역시 비주류 언어네요

같은 참가자는 모델 출신별로도 말했다. 미국 쪽 모델은 기대도 하지 않는다고 했고, 중국 쪽 모델은 이렇게 적었다.

중국 = 중국어 섞여나옴...

다른 참가자가 문제가 한글인지 한국어인지 묻자, 또 다른 참가자가 서체 때문에 더 그렇다고 했다. 처음 참가자는 맞다고 했다. 다른 참가자가 OCR을 누가 학습시켜 주면 좋은 상황이라고 적자, OCR을 만지는 참가자는 그걸 자신이 하고 있다고 받았다. 이어 질문한 참가자가 데이터셋은 구할 만하더냐고 묻자, OCR을 만지는 참가자는 국내 데이터셋으로 학습해도 한계가 있다고 답했다.

AI허브 라벨링된거 틀린거 너무 많음

AI허브는 국내 공개 학습 데이터를 모아 둔 사이트이고, 라벨링은 정답 글자를 붙이는 작업이다.

서체 하나를 학습시킬 때 생기는 일

이어 이미지를 읽는 장면이 나왔다. 한 참가자가 이런 괴랄한 서체도 OCR이 다 인식해야 하느냐고 물었고, 다른 참가자도 특정 서체가 되는지 물었다. 올라온 이미지가 무엇이었는지는 기록에 없다. OCR을 만지는 참가자는 이미지로 넘겨 버린 것처럼 보인다고 했다. 물은 참가자가 자신도 못 읽는 것을 읽는다고 놀라자, OCR을 만지는 참가자는 아래에 한글이 있다고 짚었다. 물은 참가자는 아래 글을 읽은 것이었다고 알아챘고, OCR을 만지는 참가자는 사람이 못하는 것은 기계도 못한다고 정리했다.

그다음 물음은 쓰는 패턴이 있을 텐데 그 패턴을 제거하면 되지 않느냐는 것이었다. 답은 이랬다.

저것만 학습시키면 가능하죠

그러나 곧 대가가 붙었다.

문제는 저거때문에 다른 것도 인식이 떨어지는게 문제

필기를 잘 읽게 만들면 일반 문서가 떨어진다는 것이다. 물은 참가자가 데이터가 모델을 망가뜨릴 수도 있다는 점을 알았다고 하자, OCR을 만지는 참가자는 대강 이런 것을 혼자 시험해 본다고 했고, 대응은 평가를 나누는 것이라고 했다. 벤치는 성능을 재는 시험 묶음을 뜻한다.

필기는 그래서 따로 벤치 잡고, 표나 문서도 따로 벤치잡고 합니다

둘 다 나아지는 지점을 찾아 시행착오를 던져 봐야 한다는 말이 뒤따랐다. 마지막에는 정답이 있는데 못 읽어내는 문제라서 환각이 제어되어야만 가능하다는 말로 끝맺었다.

읽을 점

오전에는 젬마와 OCR이 한 문장에 함께 언급됐지만, 오후의 한국어 OCR 이야기에서는 젬마가 다시 나오지 않았다. 오후 내용은 한 참가자가 직접 시험하며 얻은 체감이어서, 수치나 평가 결과가 대화에 나온 것은 아니다. 다만 한 가지 약점을 겨냥해 학습시키면 다른 영역이 약해진다는 말과, 그래서 필기와 표·문서 평가를 따로 둔다는 설명은 같은 문제의 앞뒷면으로 읽힌다.