44메가 논문 스캔본 OCR, 'VLM이 낫다'는 조언과 저녁의 미스터리 재현

오전 11시 6분, 한 참여자가 논문 스캔본에서 텍스트를 뽑아내는 방법을 채팅방에 물으며 하루의 화두가 시작됐다.

무슨 일

"ocr 장인분께 도움을 요청해봅니다 "

도움을 청하며 먼저 이렇게 운을 뗐다.

"이리 생겨먹은거 텍스트 뽑는데 파인튜닝 딱히 안하고 있는거로 뚜닥거리려면 어느걸로 구성하는게 최선일까요 "

44메가바이트 분량의 스캔본을, 별도 파인튜닝 없이 텍스트로 변환하려면 어떤 구성이 나을지 묻는 질문이었다. 곧이어 이 파일이 애초에 어떻게 손에 들어왔는지도 설명했다.

"논문이라길래 별 생각없이 받았는데 파일 하나가 44메가길래 열었더만 ...."

다른 참여자는 곧바로 대안을 내놓기 전에 먼저 상태부터 짚었다.

"정확도는 대부분 모델로 담보불가"

"요즘 OCR 모델들이 블럭 단위로 내뱉고 있는데"

4분 뒤, 같은 참여자가 결론을 내렸다.

"VLM 기반 모델이 나을듯합니다"

질문자는 자신의 판단이 틀리지 않았다는 데 안도하는 반응을 보였다.

"감사합니다. 보자마자 이건 답 없는 수준이다 싶었는데 내 감이 크게 틀리진 않았군요 ㅋㅋ"

같은 참여자가 원본 데이터의 출처를 묻자, 질문자는 이 텍스트가 인터넷 어디에도 없을 가능성이 높은 이유를 밝혔다.

"저거 데이터 어디서 받으셨나요"

"아는 분이 손수 찍으신거였던지라 더 나은 데이터가 아마 높은 확률로 온라인엔 없을만한 텍스트입니다"

6분 뒤, 같은 참여자가 실전 팁을 하나 더 보탰다.

"OCR 할때 색 날리면 인식 더 잘합니다"

색을 제거하면 문자 인식률이 올라간다는 조언이었다. 질문자는 이런 씨름이 처음이 아니라며 맞장구쳤다.

"저도 아예 안해본건 아니고 한 10년전에는 삽질 좀 해봤었어서"

같은 참여자는 이 처리를 왜 기본값으로 넣지 않았는지도 함께 짚었다.

"그거 처리를 원래 기본으로 달려고 했는데"

"일종의 정보 삭제라서"

오후 4시 28분, 처음 질문했던 참여자가 실제로 뽑아낸 결과물의 일부를 채팅방에 그대로 옮겼다. 저작권 관련 판례를 다룬 영문 텍스트로, 표·양식 자체는 저작권으로 보호받기 어렵다는 내용의 법률 문서였다. 30분 뒤, 세 번째 참여자가 놀라움을 드러냈다.

"스캔본에 대한 문자 변환 케이스를 웬만한거 다 스킬로 만들어놓고 사용하시는 고수분이신가 "

왜 중요한가

같은 자료를 놓고 오전에는 방법을 묻고 저녁에는 실제 결과물이 등장했다는 흐름은, OCR 작업이 조언을 듣는 것과 실제로 해내는 것 사이에 거리가 있는 작업임을 보여준다. VLM 기반 모델을 권하고 색을 날리라는 실전 팁까지 보탰지만, 그 조언을 받은 참여자가 실제로 어떤 조합으로 결과를 만들어냈는지는 저녁 발화만으로는 뚜렷이 드러나지 않는다. 세 번째 참여자가 "뭘로 하신거지"라는 반응 대신 스킬을 미리 만들어둔 숙련자일 가능성을 짚은 대목은, 결과물의 완성도가 방 안에서도 쉽게 설명되지 않는 수준이었다는 정황을 시사하는 것으로 보인다.

큰 그림

44메가바이트짜리 스캔본에서 법률 판례 원문 수준의 텍스트를 뽑아냈다는 사실은, 파인튜닝 없이도 VLM 기반 접근으로 상당한 품질의 OCR이 가능하다는 실증 사례로 읽힌다. 다만 오전의 조언과 저녁의 결과물 사이에 구체적으로 어떤 과정이 있었는지는 이 대화만으로는 확인되지 않는다. 그 공백이 오히려 "뭘로 하신거지"라는 궁금증을 낳았고, 스캔 문서를 다루는 작업이 여전히 개인의 노하우에 크게 의존한다는 사실을 방 전체가 다시 확인한 셈이다.

이 화제에는 14명이 참여해 142건의 메시지가 오갔다. 하루 안에서도 다른 화제보다 유독 대화량이 많았다는 점은, 스캔 문서 OCR이 실무에서 자주 부딪히는 반복 작업이면서도 정답이 하나로 정해져 있지 않은 영역이라는 사정을 보여준다. 색을 날리면 인식률이 오른다는 팁처럼 사소해 보이는 전처리 요령 하나가 결과물의 질을 좌우한다는 점도, 이 작업이 모델 선택만큼이나 세부 노하우에 좌우된다는 걸 짐작하게 한다.