벤치마크 신뢰성 논쟁: AIA·AAII 점수 vs 실사용 체감

점심 무렵 에이전트코리아 방에서는 벤치마크 지표 자체에 대한 불신이 다시 도마에 올랐다. 한 참가자가 관련 기사를 공유하면서, AIA·에포크AI 같은 평가 기관이 유료 신청을 받는 구조와 그로 인한 평가 편향 가능성을 지적했다.

"이 기사의 AIA 평가 편향 논란은 하루이틀이 아닙니다. 에포크AI도 엄청 빨아주는데 거기도 유료 신청해야해요."

이 발언의 핵심은 벤치마크 점수가 순수한 성능 측정이 아니라 평가 기관과 모델 제작사 사이의 상업적 관계에 영향을 받을 수 있다는 문제 제기다. 무료로 공개되는 리더보드와 달리 유료 신청 절차를 거치는 벤치마크는 형평성 논란에서 자유롭지 않다는 것이 대화의 요지였다.

이런 불신은 곧 GPT-6 아스트라를 향한 평가로 옮겨갔다. 한 참가자는 아스트라가 벤치마크 점수보다 실사용 체감에 맞춰 설계된 것 같다는 인상을 전했다. 벤치마크 순위 경쟁에서 다소 물러서더라도 실제 사용자가 느끼는 만족도를 우선시하는 방향으로 모델이 튜닝됐다는 관찰이다. 이 평가에 다른 참가자는 "이 모델은 맛이 다르다"는 표현으로 동조했다.

대화는 결국 다소 자조적인 결론으로 흘렀다. "요즘 LLM 선택은 기호나 종교와 비슷한 무언가"라는 발언이 나오면서, 정량 지표만으로는 모델 간 우열을 설명하기 어려워졌다는 정서가 공유됐다. 이는 벤치마크 신뢰성 문제와 실사용 체감 우선론이 결합하며 나타난 자연스러운 귀결로 읽힌다 — 지표를 믿기 어렵다면 남는 판단 근거는 결국 개인의 사용 경험과 취향뿐이라는 것이다. 벤치마크 점수가 마케팅 도구로 소비되는 현실에 대한 피로감이, 실사용 중심 평가 문화로의 이동을 재촉하는 모습이 이번 대화에서도 확인된다.

이 논쟁이 흥미로운 지점은, 벤치마크 불신이 어제오늘 나온 이야기가 아님에도 새 모델이 출시될 때마다 반복해서 소환된다는 점이다. GPT-6 아스트라라는 신모델 출시가 벤치마크 편향 논란을 다시 불러온 촉매가 됐고, 이는 새 모델이 나올 때마다 "이번엔 정말 얼마나 좋아졌는가"를 둘러싼 신뢰 공백이 재현되고 있음을 보여준다. 유료 벤치마크에 대한 의구심이 해소되지 않는 한, 이런 순환은 앞으로도 신모델 출시 때마다 되풀이될 가능성이 크다.

한편 "벤치마크보다 실사용 체감"이라는 평가 자체도 결국은 한 참가자의 주관적 인상이라는 점은 짚어둘 필요가 있다. 정량 지표를 불신하는 대화가 다시 정성적 체감평으로 수렴하는 이 순환 구조는, 아직 커뮤니티가 신뢰할 만한 대안적 평가 기준을 찾지 못했다는 사실을 역설적으로 보여준다.