손글씨 OCR 진척과 아직 남은 악필의 벽
같은 토요일 두 오픈채팅방에서 문서 인식(OCR)의 손글씨 인식률과 병합셀 결과, 아직 읽지 못하는 악필, 1년 전 문제집 작업의 회고, 라벨링 품질 이야기를 짚은 통합 기사.
토요일 오후 4시 56분, 공공AX 네트워크에 한국어 손글씨를 추가로 학습시킨 OCR(사진 속 글자를 읽어 문서로 바꾸는 기술) 모델 공개 글이 올라왔다. 네 시간 반쯤 뒤인 밤 9시 27분 에이전트코리아에서는 자체 문서 인식 결과를 보여 주던 한 참가자가 병합셀도 잘 잡는다고 알렸고, 2분 뒤 같은 참가자가 공공AX 네트워크에도 같은 취지의 결과를 올렸다. 그 뒤 앞서 공개된 손글씨 모델이 kordoc에 머지됐다는 알림이 떴다. 한쪽에서는 숫자로 내놓은 진척이, 다른 쪽에서는 아직 읽지 못하는 악필 이야기가 나왔다.
공공AX 네트워크에서 나온 숫자
공개 글을 올린 한 참가자는 문제를 이렇게 짚었다. 민원 서식처럼 손으로 적은 글씨는 너무 자유분방하고 기존 OCR은 인쇄체 위주로 학습해서 잘 읽지 못하고, 결국 사람이 다시 입력하는 경우가 많다는 것이다. 그 해법으로 PaddleOCR 모델에 한국어 손글씨를 추가로 학습했다고 소개했다. 손글씨가 적힌 서식을 취합할 일이 많은 업무라면 도움이 될 것이라는 말도 덧붙였다.
손글씨 단어 인식률 67% → 97%
소개 글에는 이 수치 말고도 정부 서식의 인쇄 글자를 99% 인식한다는 항목, 무료(Apache-2.0)라는 항목, 기존 OCR에 모델 파일만 바꿔 적용한다는 항목이 함께 적혀 있었다. 곧바로 한 참가자가 안 그래도 그 부분이 고민이었다며 고마움을 전했다. 저녁 8시에는 이 모델을 kordoc에 올렸다는 안내가 나왔고(kordoc에 대한 풀이는 원문에 없었다), 밤 9시 31분 kordoc에 머지됐으니 상황에 맞춰 사용해 달라는 알림이 올라왔다. 머지는 올린 변경이 본체에 합쳐졌다는 뜻으로 쓰였고, 앞서 승인되면 옵션으로 쓸 수 있다는 말이 있었다.
병합셀과 악필, 같은 참가자의 두 방
밤 9시 27분, 에이전트코리아에서 한 참가자가 자체 문서 인식 결과를 공유하며 표 속 병합셀을 잘 잡는다고 했다. 이어 폭주 현상도 거의 다 잡았다고 전했다. 폭주 현상이 정확히 어떤 오류인지는 원문에 풀이가 없었다.
폭주 현상은 거의 다 잡았고
공공AX 네트워크에서도 같은 참가자가 병합셀을 그대로 만들어 준다며 결과를 올렸다. 그는 손글씨 모델이 머지됐다는 알림에 벤치(성능 비교 시험)를 돌려 보겠다고 답했고, 이어 자기 모델의 링크를 소개했다. 10분쯤 뒤인 9시 37분 에이전트코리아에서 이 참가자는 아직 안 되는 것도 숨기지 않았다.
저희 개발자 악필은 아직 인식 못하는 중....
한 시간쯤 뒤인 밤 10시 43분께부터는 글자 인식 범위를 표시하는 상자를 바운딩 박스(bbox)라고 부른다는 설명이 오갔다.
1년 전 문제집 회고
밤 11시 2분에는 다른 참가자가 1년 전쯤 문제집 인식에 깊이 매달렸던 경험을 꺼냈다. 그림 지문 분류까지 다 했지만 당시에는 완벽히 하기 어려웠고, 1 ~ 3% 틀리는 정도 때문에 서비스로 내지 못했다는 회고였다. 그 시점에 어렵겠다고 판단했던 사례로는 객관식 문제의 답안이 표로 들어 있는데 그것이 사진일 때를 꼽았다.
이건 정말 현재 기술들 가지고는 어렵겠다~~ 했었던 것중에 하나가.
이는 1년 전 작업 당시의 판단이다. 지금도 같은 오류가 남아 있는지는 이 대화에서 확인되지 않는다.
인식률 뒤의 데이터 품질
공공AX 네트워크에서 자체 OCR 모델을 만드는 같은 참가자는 앞서 공개된 손글씨 모델을 두고 자기들 벤치와 손글씨 성능이 비슷하다고 평가했다. 같은 대화에서 눈에 띄는 대목은 라벨링 오류였다.
라벨링 잘못된거 많아서 저흰 그거 버리고 새로 라벨링 하느라 시간 꽤걸렸는데
잘못 달린 라벨이 많아 그것을 버리고 처음부터 다시 라벨링하느라 시간이 꽤 걸렸다는 경험이다. 인식률 숫자 뒤에 데이터를 고치는 품질 작업이 깔려 있다는 말로 읽힌다.
진척은 숫자로, 남은 것은 악필
두 방의 이야기를 겹쳐 보면, 표 구조와 병합셀 같은 문제, 그리고 한국어 손글씨 인식률은 수치로 보여 줄 수 있는 단계에 들어선 것으로 보인다. 그 가운데 현재형으로 남은 벽은 이 대화에서는 악필이 유일하다. 문제집의 1 ~ 3% 오류와 사진 속 표 답안은 1년 전 회고여서, 평균 인식률과 서비스 기준의 차이를 짚는 사례로만 읽는 것이 맞다.
다만 조심할 점이 있다. 손글씨 모델과 병합셀 모델은 서로 다른 개발자의 작업이어서 직접 비교하기 어렵다. 진척의 근거인 67%에서 97%라는 수치도 공개 글에 적힌 소개 수치이며, 외부에서 따로 검증한 결과는 이 대화에서 확인되지 않는다. 그래서 이 기사는 인식 기술이 어디까지 왔는지를 판정하지 않는다.
정리
공공AX 네트워크에서는 손글씨 인식률 67%에서 97%와 kordoc 머지라는 소식이 나왔고, 병합셀 결과를 두 방에 올린 참가자는 에이전트코리아에서 폭주 현상도 거의 잡았지만 악필은 아직 못 읽는다고 했다. 1년 전 문제집 작업의 1 ~ 3% 오류는 과거 회고로 남았고, 데이터 라벨링의 품질은 인식률 뒤에 깔린 비용으로 언급됐다. 문서 인식의 다음 화두는 얼마나 잘 읽느냐보다 어떤 오류까지 서비스에서 받아들일 수 있느냐로 옮겨 갈지 지켜볼 대목이다.