벤치마크를 믿을 수 있나 — 엑사원 논란부터 클로드의 위기까지

지난 사흘간(8/11 ~ 8/14) 더배러방은 AI를 업무에 얼마나 깊게 박아 넣을 것인가를 계속 되짚었다. 그 흐름의 마지막 날, 벤치마크 수치를 어디까지 믿어야 하는가를 둘러싼 논쟁이 오전부터 오후까지 방을 채웠다. 한 참여자는 AB테스트도 거치지 않은 채 발표되는 벤치마크 얘기를 곧이곧대로 믿기 어렵다고 운을 뗐다. 모델 하나의 점수만으로 성능을 단정하는 관행 자체에 의문을 던진 것으로, 이미 AI를 업무에 투입해 온 참여자들 입장에서는 검증 절차 없는 숫자 하나로 도구를 갈아타는 일 자체가 부담이라는 뜻으로도 읽힌다. 이 발언은 곧바로 벤치맥싱(benchmaxxing, 벤치마크 점수만 끌어올리기 위한 편법 최적화) 의혹으로 확대됐다.

엑사원 벤치맥싱 의혹, 세차장까지 번진 우회담

다른 참여자는 국내 모델 엑사원이 벤치마크를 우회하는 스킬을 써서 지표를 끌어올렸다는 소문을 전했다. 앞서 발언한 참여자는 세차장 주행 벤치마크까지 우회 사례로 들며 구체적인 일화를 보탰다.

"세차장 벤치마크까지 우회해버려서 50m를 51m로 수정하니까 걸어가라고 했다던 얘기도 있더라고요"

목표 지점까지의 거리를 1m 늘리는 식으로 채점 기준 자체를 바꿔치기했다는 이야기다. 목표까지 못 미치면 그냥 걸어가게 만들어 통과 처리했다는 뜻으로 읽히는데, 벤치마크 점수 그 자체보다 그 점수가 만들어지는 과정에 대한 불신이 이날 논쟁의 핵심으로 보인다.

신생 스타트업의 약진과 기대

같은 시간대 대화는 신생 모델 스타트업 모티프테크놀로지스의 약진으로 옮겨갔다. 맨땅에서부터 학습해 국내 1위 지표를 냈다는 소식에, 한 참여자는 성공하면 업계 전체에 파장을 낼 것으로 기대했다.

"대신에 성공하면 AI업계 전체에 한국판 딥시크 쇼크급이 될듯"

엑사원 논란으로 흔들린 신뢰가 오히려 신생 스타트업 쪽으로 기대를 옮겨가는 흐름으로 보인다. 큰 자본 없이 맨땅에서 학습했다는 서사가, 우회 의혹으로 얼룩진 기존 지표보다 더 믿을 만하게 받아들여진 셈이다.

클로드 이탈 기류

오후에는 클로드 워터마크 제거기 이야기에 이어, 경쟁 AI 도구가 클로드를 압도한다는 후기까지 나왔다.

"GPT Daybreak Blue >>>>>>>>>>>>>>>>>>>>>>>> 보이지 않는 벽 >>> Claude Fable 라고 합니다"

클로드가 만든 결과물에서 워터마크를 지우는 도구가 화제에 오른 일도 있었다. 다만 이런 도구의 사용은 서비스 약관과 저작권 표시 의무에 걸릴 수 있는 영역이라, 이 방에서 오갔다는 사실을 옮기는 데까지만 적는다. 이 발언을 계기로 방 안에서는 클로드 이탈 분위기를 체감한다는 말도 나왔다.

참여자 10명, 메시지 55건이 몰리며 이날 가장 큰 화제로 꼽힌 이 흐름은, 같은 날 오후 다른 참여자들이 나눈 논문 검증·법령 환각 논의와도 맥이 닿아 있다. AI가 내놓는 숫자와 텍스트를 어디까지 믿을 수 있는가라는 질문이 같은 하루 안에서 벤치마크와 인용 검증, 두 갈래로 반복해서 불거진 셈이다.

사흘의 시작이 포모도로 타이머 같은 실용 기기 품평이었다면, 마지막 날은 그 기기 위에서 돌아가는 AI 모델 자체의 신뢰도를 의심하는 질문으로 마무리된 셈이다. 벤치마크 우회 의혹으로 시작된 불신이 특정 모델 하나가 아니라 지표 발표 관행 전반, 나아가 클로드 같은 기존 강자에 대한 평판까지 흔드는 방향으로 번지고 있는 것으로 보인다.