임베딩 벤치에서 젬마가 졌다는 말과 입력 형식 의심

27일 저녁 에이전트코리아 대화방에서 한 참가자가 다른 참가자에게 젬마를 써 봤느냐고 물었다. 질문자는 곧이어 자기가 후기를 궁금해한다는 뜻의 한 줄을 더 보탰다. 임베딩은 글을 숫자의 나열(벡터)로 바꿔 두고, 질문과 비슷한 글을 찾을 때 쓰는 기술이다. 이 대화에서 젬마는 임베딩 모델 후보로 오갔다. 어느 판의 젬마인지는 발화마다 표기가 달랐고, 저녁 늦게 올라온 정리글에는 EmbeddingGemma라는 이름이 나온다.

젬마 써보셨나요

이름도 기억 안 나는 모델이 이겼다

질문을 받은 참가자는 바로 이어서 벤치를 돌려 봤다고 했다. 이긴 모델은 이름이 기억나지 않아 "b 뭐시기"라고만 불렀고, 그대로 쓰던 모델을 유지하기로 했다고 했다. 같은 참가자는 메모리, 곧 기기 기억 공간을 적게 쓰는 면에서는 압도적으로 가볍더라고 덧붙였다. 직전 질문이 젬마였으니 젬마를 가리키는 것으로 읽히지만, 말에 대상은 적혀 있지 않다. 나중에 파인튜닝, 곧 모델을 자기 데이터로 조금 더 훈련시키는 단계에 들어가면 그때 다시 비교해 보겠다고 했다.

이름 뭐였지? b 뭐시기가 이겨서 그대로 유지하기로 했습니다ㅋㅋㅋㅋㅋ

처음 물은 참가자는 이 결과에 놀라는 반응을 보였다. 벤치를 돌린 참가자 스스로도 한국어에서는 bge가 크기 대비 가장 좋은 것 아니냐고 되물었고, 원래 한국어에서도 젬마가 이기느냐고 물었다. 설정을 잘못한 것은 아닐까 하는 의심도 스스로 꺼냈다.

변수 설정이나 규칙 설정 뭘 잘못했나?

지시문이 없었던 것 아니냐는 반문

처음 물은 참가자는 자기가 예상했던 성능 순서를 적었다. 부등호 오른쪽으로 갈수록 낫다는 뜻으로 읽히고, bgeko는 한국어용 bge를 줄인 말로 보이나 대화에서 풀이되지는 않았다. 그 뒤에 원인으로 짚은 것이 지시문, 곧 입력 앞에 붙이는 지시 문장이었다.

bge < bgeko~= qwen <gemma2 이렇게 생각했는데

인스트럭션 문장이 없었다거나..

벤치를 돌린 참가자는 이 말이 무슨 뜻인지 되물었다. 자기가 아는 일반적인 지침과는 다른 개념인 것 같다는 이유였다. 몇 분 뒤 상대 참가자가 설명을 보탰다.

instruction 문장 있고 없고 요망하게 벡터 달라요

벤치를 돌린 참가자는 무슨 개념인지는 모르겠지만 이것이 핵심인 것 같다고 했고, 마감을 먼저 치고 AI와 이야기해 봐야겠다고 했다.

저녁 8시 직전에 올라온 정리와 곁가지 질문

그 사이 다른 참가자가 Kure-v3를 써 본 사람이 있느냐고 물었다. 무료 모델이고 문서를 색인해 검색하는 모델이라고 들었다는 설명이 붙었다. 앞서 지시문을 짚은 참가자는 멀티모달, 곧 글 말고 이미지까지 다루는 모델이 아니라면 괜찮고, 외부 API 없이 로컬에서 돌리는 용도라면 괜찮다고 했다. 멀티모달이 아쉬워질 때가 꼭 있어서 본인은 qwen과 gemma 계열을 좋아하는 편이라고도 했다.

저녁 8시 직전 벤치를 돌린 참가자가 다시 나타나 상대 참가자에게 "정답"이라고 쓴 뒤 이 글을 올렸다.

bge-m3에는 지시문이 필요 없습니다. EmbeddingGemma는 질의용과 문서용 접두어가 따로 필요합니다.

이어서 같은 참가자는 EmbeddingGemma를 float16, 곧 숫자를 16비트로 줄여 돌리면 안 된다는 문장도 붙였고, 곧바로 "젬마가 진 이유..."라고 덧붙였다. 접두어는 질문과 문서 각각의 앞에 붙이는 짧은 문구를 가리킨다. 이 글을 어디서 가져왔는지는 대화에 없다. 벤치를 돌린 참가자는 이어 "귀신이셔 아주"라고 써서, 상대의 추측이 맞았다고 받아들이는 말을 남겼다.

읽을 거리

대화에서 확인되는 사실은 세 가지다. 한 참가자가 돌린 벤치에서 bge 쪽이 이겼고, 다른 참가자가 지시문 누락을 가능성으로 짚었고, 나중에 두 모델이 요구하는 입력 방식이 다르다는 정리가 올라왔다는 점이다. 벤치에서 실제로 접두어가 빠졌는지, 어떤 bge 모델이 이겼는지는 대화에서 확인되지 않는다. 그럼에도 결과 숫자를 읽기 전에 모델별 입력 규칙을 맞췄는지부터 보라는 이야기로 읽힌다. 젬마가 앞설 거라던 질문자의 예상과 다른 참가자가 돌린 벤치 결과가 어긋나자, 그 놀람이 곧바로 입력 형식 점검으로 옮겨 간 흐름이 이 대화의 핵심이다.