AIHub 데이터의 오류가 손글씨 OCR 비교로 눈에 띄었다

오후 5시 50분, 방의 분위기가 잡담으로 흐르던 중에 한 참여자가 짧은 메시지를 연달아 올렸다. 먼저 AIHub라는 이름을 적고, 이어서 데이터가 좋지 않은 게 너무 많다고 말했다.

너무 데이터 안좋은게 많네요

AIHub는 국내에서 인공지능 학습용으로 공개된 데이터를 모아 둔 곳으로 알려져 있다. 그 데이터를 직접 열어 본 참여자가 곧바로 비교 화면을 공유했다.

가운데가 aihub, 오른쪽이 제 OCR인데

이 비교 화면에는 가운데 칸에 AIHub 쪽 결과가, 오른쪽 칸에 참여자가 만든 OCR 결과가 놓여 있었다고 한다. 대화에 이미지의 내용은 글로 적히지 않았으므로 어떤 문서의 어느 대목이 얼마나 틀렸는지는 알 수 없다. 다만 참여자는 왜 이렇게 틀렸지 하고 보다가 비교를 하게 됐다고 설명해, 의심에서 출발해 확인으로 이어진 흐름을 드러냈다.

왤케 틀렸지 하고 보다가

반응은 두 가지로 모아진다. 하나는 손글씨 인식 자체에 대한 놀라움이다. 오후 5시 52분 다른 참여자는 손글씨를 대체 어떻게 뽑으셨느냐고 감탄했다.

손글씨를 대체 어떻게 뽑으셨대 ㄷㄷ

이 반응은 손글씨를 정확히 읽어 냈다는 사실 자체가 눈길을 끌었음을 보여 준다. 글자 모양이 사람마다 다르다는 점을 감안하면 감탄이 나올 만하다고 짐작할 수 있지만, 이 해석은 대화 속 반응에서 추정한 것이다.

이에 비교 화면을 올린 참여자는 OCR 모델은 손글씨를 해야 시작이라는 취지로 답했다. 손글씨 인식을 잘하느냐가 OCR 모델의 출발선이라는 뜻으로 읽힌다.

이 주제에는 2명이 참여해 7건의 메시지만 오갔다. 같은 날 방 전체 대화가 452건이었고 클로드 요금제와 코덱스 한도, 건강 이야기가 훨씬 길게 이어진 것과 비교하면 이 주제는 짧은 편이다. 방금 막 확인한 결과를 바로 던진 즉흥적인 공유에 가깝다.

그럼에도 이 짧은 대화에는 읽을 만한 층위가 있다. 공개된 정답 데이터는 흔히 믿고 쓰는 기준으로 여겨지지만, 직접 만든 모델의 결과와 나란히 놓으면 기준 쪽에서 오류가 보일 수 있다는 점이다. 물론 이 사례만으로 AIHub 데이터 전반의 품질을 말하기는 어렵고, 오류가 어느 정도인지는 대화에서 수치로 제시되지 않았다.

한 가지 더 짚자면, 비교를 올린 참여자는 틀린 이유를 AIHub 쪽 문제로 단정하지 않고 왜 틀렸는지 의문을 품은 채 확인하는 순서를 밟았다. 이처럼 결과가 틀렸을 때 어느 쪽이 틀렸는지부터 따져 보는 습관은 모델 개발에서 흔히 거치는 점검 단계이지만, 이날 대화는 그 과정을 짧게 엿보게 해 준다.

그래서 이 장면은 데이터의 품질 판단을 공개 데이터의 명성이 아니라 실제 비교에서 확인한다는 태도를 시사한다. 모델을 만드는 사람이 데이터 검수자 역할까지 겸하게 되는 흐름이 방 안의 짧은 한 장면에서 드러났다고 볼 수 있다.