'솔은 틀린 적 없는데 루나는 종종 틀리더라' — 오픈북 테스트가 가른 두 모델

저녁 5시 50분, 한 참가자가 경량급 모델 루나(GPT-5.6 Luna)에 대한 평가를 꺼냈다. 이 방에서 솔·루나는 GPT-5.6 계열의 모델 등급을 가리키는 이름으로 쓰인다.

"경량급도 luna가 좋아. 맥싱하면 상위상위 모델의 mid effort에 견주어지고"

맥싱(모델을 최대 추론 강도로 돌리는 것)을 하면 루나 같은 가벼운 등급도 상위권 모델의 중간 정도 추론 강도(mid effort)와 맞먹는다는 평가였다. 같은 참가자는 곧바로 아쉬움도 덧붙였다.

"Pro는 나올기미도 안보이고"

기대하던 상위 등급 출시 소식은 아직 들리지 않는다는 뜻이었다. 11분 뒤, 다른 참가자가 이 평가에 다른 결의 관찰을 보탰다.

"근데 정말 솔이랑 루나 차이 많이 나에요"

가볍게 던진 이 한마디에 13분 뒤 구체적인 근거가 붙었다. 세 번째 참가자가 직접 돌려본 결과를 공유했다.

"오픈북 테스트 시켜보면 Sol은 틀린적 없는데 Luna는 종종 틀리더라구요"

오픈북 테스트, 즉 참고 자료를 열어두고 푸는 방식의 시험에서 솔은 오답을 낸 적이 없는 반면 루나는 종종 틀렸다는 실사용 비교였다. 앞서 나온 "맥싱하면 상위권과 견줄 만하다"는 호평과 "종종 틀리더라"는 지적이 같은 대화 안에서 나란히 놓이면서, 루나에 대한 평가가 하나로 정리되지 않았다는 점이 이 대화의 특징으로 남았다.

24분 사이에 오간 네 마디가 짧았던 만큼, 대화는 결론을 내리기보다 각자 관찰한 조각을 얹어놓는 방식으로 흘러갔다. 첫 참가자가 짚은 것은 체감 성능이었고, 세 번째 참가자가 짚은 것은 실측 오답률이었다는 점에서, 두 발언은 같은 모델을 서로 다른 잣대로 재고 있었던 셈이다. 체감상 상위권에 견줄 만하다는 평가와, 시험을 시켜보니 실제로는 틀리는 경우가 있더라는 관찰이 모순되는 게 아니라 서로 다른 층위의 성능을 가리키고 있었다는 뜻이다.

경량급 모델이 발전하면서 상위 모델과의 격차가 좁혀지고 있다는 낙관과, 그럼에도 정확도에서는 여전히 눈에 띄는 차이가 존재한다는 실측이 같은 시간대에 함께 나왔다는 점은 눈여겨볼 대목이다. 맥싱을 통한 성능 끌어올리기가 체감 성능은 높여주지만 정확도라는 축까지 완전히 메워주지는 못한다는 뜻으로 읽힌다. 이 짧은 대화는 참가자들이 모델을 고를 때 속도나 비용 못지않게 오답률이라는 구체적인 기준을 직접 테스트해가며 따진다는 것을 보여준다. 벤치마크 점수만으로는 드러나지 않는 이런 체감 차이가, 실사용자 커뮤니티에서 오가는 대화의 값어치를 보여주는 대목이기도 하다. 네 마디짜리 짧은 스레드 하나에 호평과 실측 비판이 함께 담겼다는 사실은, 이 방이 특정 모델을 일방적으로 추켜세우거나 깎아내리기보다 저마다 겪은 장단점을 있는 그대로 얹어놓는 자리로 굴러가고 있다는 것을 보여준다.