직접 돌려 본 임베딩·OCR과 로컬 모델 체감

27일 오전 에이전트코리아에서 한 참가자가 임베딩 모델 비교 결과를 대화방에 올렸다. 임베딩은 글을 숫자 묶음으로 바꿔 검색에 쓰는 모델을 가리키는 말로 통하지만, 대화에서 따로 풀이되지는 않았다. 올라온 글에는 이런 내용이 적혀 있었다.

Qwen 4B가 nDCG@10 0.6894로 가장 높은 정확도를 보임.

nDCG@10은 검색 결과 상위 열 개의 순서가 얼마나 잘 맞는지 재는 지표 이름으로 통용된다. 같은 글에는 메모리 사용량도 함께 적혀 있었다.

최대 메모리는 4B 12.60GiB

bge-m3 4.13GiB, 0.6B 2.92GiB

이 기사는 같은 날 두 방에서 나온 비교의 말을 방별로 나누어 적는다. 서로 다른 사람의 측정과 체감을 한 사람의 경험처럼 잇지 않는다.

에이전트코리아, 임베딩 벤치를 다시 짜는 사람과 젬마를 권한 사람

수치를 올린 참가자는 곧이어 다시 메모리가 병목이 되었다고 적었고, 이 글이 도움을 청하려는 것은 아니라고 밝혔다.

다시 메모리가 병목이 되었다....

도움요청은 아니고요

이 글은 다른 참가자를 지목해 올린 것이었고, 지목당한 참가자가 임베딩 젬마를 써 보라고 했다. 젬마가 어떤 모델인지는 대화에서 풀이되지 않았다. 이유로는 메모리를 얼마 먹지 않는다는 점과 크기 대비 성능을 들었다.

메모리 해봐야 2 ~ 3기가 먹어요

크기 대비 성능 잘나와요

질문한 참가자가 한국어 기준으로도 괜찮은지 되묻자 꽤 잘한다는 말이 돌아왔다.

얘도 임베딩 괜찮나요? 한국어기준

벤치를 어떻게 돌릴지를 두고는 두 사람의 방식이 갈렸다. 젬마를 권한 참가자는 얼마 뒤 절반쯤 나왔겠다고 말했지만, 비교를 준비하던 참가자는 아직 시작도 못 했다고 답했다. 이유는 평가 기준부터 다시 짜고 있어서였고, 앞서 올라온 수치와 이 새 벤치의 관계는 대화에서 확인되지 않는다. 골든셋은 평가용 정답 묶음을 가리키는 말로 보인다.

저 골든셋부터 다시 기획중 어떤 거 어케 비교할까 모델 특성 조사해봐라 이러면서

근데 무지성 테스트는 보통 의미가 없더라고요 결과도 정확도 떨어지고

젬마를 권한 참가자의 방식은 달랐다. 모델 성능만 보는 것이니 그냥 해 놓고 찾는 편이라고 했다. 이어서 다른 참가자가 bge와 젬마 중 어느 쪽에 표를 주느냐고 묻자 젬마라고 했고, bge는 개인적으로 퀜 0.6B와 견주는 편이라고 덧붙였다. bge와 퀜은 대화에서 풀이되지 않았다. 비교를 준비하던 참가자는 얼마 뒤 자기 경우에는 차이가 크지 않다고 적었다.

근데 또 제 경우는 차이가 별로 안 커요

곧이어 0.016인가? 라는 말도 붙었으나, 무엇과 무엇의 차이인지는 적혀 있지 않다.

에이전트코리아, 낮에 돌아가던 내부 OCR 벤치

낮이 되자 같은 방에서 화제가 OCR로 넘어갔다. OCR은 사진 속 글자를 글로 옮기는 기술이다. 한 참가자가 JTHW2가 무엇이냐고 묻자, 오전에 젬마를 권했던 참가자가 직접 설명했다.

JTHW2는 그냥 내부 모델 코드 이름입니다

무슨 벤치를 돌리느냐는 질문에는 OCR이라는 한 단어가 나왔고, 허깅페이스(HF)에 올라가 있는 OCR 모델에 내부 모델로 추가 학습을 한 것을 돌리는 중이라고 했다. 비교 대상으로 제미나이를 같이 돌리고 있는데 느리다는 말도 붙었다. 다른 참가자가 지난번 오푸스가 필기체를 추측해서 맞추는 모습을 직접 보았다고 경험을 얹었다.

원샷 기준인거죠? 저번에 오퍼스가 1.0을 찍길래 놀래서 보니 얘가 생각해서 추측해서 맞추더라구요

원샷은 한 번에 답하게 하는 방식으로 보인다. 벤치를 돌리던 참가자는 원샷이 원칙이라고 했고, 그런 추측 방식은 비용이 높고 오래 걸린다고 했다. 이어서 벤치 결과를 본 소회로 읽히는 말도 나왔다.

OCR이 제미니랑 동급일줄은

sol terra luna보다 나은데 굳이 이제 후후

솔·테라·루나가 무엇을 가리키는지는 대화에서 풀이되지 않았다. 여기서 눈에 띄는 것은 측정하는 쪽의 의심이다. 같은 참가자는 표 채점이 TEDS 방식이라고 하면서 더 나은 분류가 없는지 생각해 보겠다고 했고, 채점표를 더 확인해야겠다고 적었다.

저만큼 틀린걸까 또 의심해봐야겠네요

HTML 이 틀리면 틀린거였어서

한가운데 이런 대화가 끼어 있었다. 오전 비교 벤치를 짜던 참가자가 0.7732가 77% 정확도냐고 묻자 진짜 정확도라는 답이 왔다. OCR 벤치와 채점 이야기가 오가던 중에 나온 수치지만, 어느 모델의 어느 항목 값인지는 대화에 적히지 않았다.

오후에는 필기체 오독 사례가 올라왔다. 아버지를 돌보는 누나라는 구절이 아버지와 남남이 되어 버린 것으로 오독되는 사례였다. 벤치를 돌리던 참가자는 이런 일이 환각이라고 했다.

제미니나 코덱스나 OCR이란게 이런게 환각이에용

다른 참가자는 사람도 제대로 못 읽을 수 있는 부분이라며 원인을 짚었다.

난남이 라는 부분이 레퍼런스가 없고 심지어 악필로 들어오니 그 부분에서 추론이 생기고

공공AX 네트워크, 젬마가 올랐다는 소식과 체감 순위

공공AX 네트워크의 같은 날 장면은 측정표가 아니라 체감이었다. 오전에 한 참가자가 사무실에서는 AI를 쓰기 어렵다고 하며, 컴퓨터에서 4b 모델을 돌려 보려다 컴퓨터가 너무 힘들어해 지웠다고 했다. 4b는 모델 크기를 나타내는 표기로 보인다.

lm studio로 4b 돌려보려다가 컴퓨터가 너무 힘들어해서 그냥 삭제...

오후에 다른 참가자가 젬마가 업그레이드되고 있다는 소식을 알렸다. 무엇이 어떻게 올랐는지는 적히지 않았다.

젬마가 업그레이드 되고 있습니다 두둥

한 개발자 참가자는 놀란 기색이었다. 지난주에 젬마를 내리고 딥식을 올렸다고 했고, 로컬에서 가장 좋은 것은 지금 딥식이라고 했다. 딥식이 무엇의 줄임말인지는 대화에 풀이가 없다. 다른 개발자 참가자는 그래도 젬마는 젬마 아니겠느냐고 했다. 이 발화는 공공AX 네트워크 방에서 나온 것으로, 에이전트코리아에서 임베딩 젬마를 권한 발화와는 별개다. 이 방의 젬마는 로컬에서 돌리는 모델 이야기로 읽히나, 에이전트코리아의 임베딩용 젬마와 같은 것인지는 대화에서 풀이되지 않았다. 젬마를 내리고 딥식을 올렸다고 한 첫 개발자 참가자의 말은 이랬다.

헌데 로컬 1황은 현재 딥식이가 맞는것 같아요

앞서 4b 모델을 지웠던 참가자는 이렇게 덧붙였다.

할루시네이션만 없으면 그래도 좀... 괜찮을텐데 제가 세팅을 못해서 그런건지 4b 2b 하면 환각이 아주ㅠㅠ

젬마는 젬마 아니겠느냐고 했던 바로 그 개발자 참가자는 곧 이어 젬마는 언어적인 부분을 빼면 신뢰도가 그다지라며 순위를 하나 적었다.

개인적으로 로컬에서 구동했을때는 딥식>qwen3.8 next>>넘을수 없는 벽>>젬마 순인거같습니다

딥식을 올렸다던 참가자는 젬마 5까지는 그냥 기다려야겠다고 했다. 이 순위는 각자의 환경에서 느낀 것이고, 같은 조건에서 재 보았다는 말은 없다.

두 방을 나란히 놓으면

두 방의 말은 한 가지 점에서 닮아 보인다. 자기 컴퓨터와 자기 데이터에서 직접 돌려 본 결과나 체감을 이야기했다는 점이다. 에이전트코리아의 한 참가자는 평가 기준부터 다시 짜겠다고 했고, 내부 OCR을 돌리던 참가자는 채점 방식 자체를 의심했다. 공공AX 네트워크의 참가자들은 각자 돌려 본 로컬 체감을 순위로 적었다.

다만 이 읽기는 기사의 해석이다. 두 방의 참가자는 서로를 언급하지 않았고, 같은 창에 비슷한 이야기가 올랐다는 사실 말고 둘을 잇는 근거는 없다. 에이전트코리아에서 오간 수치는 비교 벤치를 준비하던 참가자의 값이거나 어느 측정인지 적히지 않은 값이고, 공공AX 네트워크의 순위는 개인 체감이어서 서로 견줄 수 있는 표가 아니다. 확인되는 것은 모델을 고르는 순간에 참가자들이 자기 손으로 한 번 더 확인하려 했다는 점까지다. 에이전트코리아의 다른 대화에서는 터미널 벤치 이야기를 전한 참가자도 있어, 이를 두 방 모두의 태도로 일반화할 수는 없다.