LMArena에 뜬 제미나이4 프로 추정 모델, 클로드(페이블) 순위를 흔들었다

17일 오후 2시 49분, 한 참가자가 LMArena(모델 벤치마크 순위 사이트)에서 제미나이4 프로(Gemini 4 Pro)로 추정되는 모델을 발견했다고 알렸다. 출력 토큰이 256K에 달한다는 소식이었다.

LMArena에 gemini 4 pro로 추측되는 모델 발견 - 출력토큰이 256K

10분 뒤 다른 참가자는 이 벤치마크 성적대로라면 클로드(페이블) 진영이 순위에서 밀리게 됐다고 짚었다.

벤치상으로 이제 페이블은 범부가 되었군요

실사용 체감으로 옮겨간 대화

논쟁은 곧 실제 사용 경험으로 옮겨갔다. 한 참가자는 이미 작업 대부분을 제미나이로 옮겼다며 클로드(페이블)를 완전히 버려도 될 것 같다고 밝혔다. 이어서 그는 사용량 한도에 걸릴 때 겪는 낭비를 단계별로 풀어놓았다. 어느 서비스 이야기인지는 발화에 명시되지 않았다.

1. 끊어진거 상황파악한다고 20% 소모. 2. 작업을 시킨다. 잘못 한다. 70% 소모 3. 수정 보완한다 쭉 하다가 사용량 만료. 마무리 못하고 5시간 기다려야함

작업이 중간에 끊기면 상황을 다시 파악하는 데만 사용량의 5분의 1이 날아가고, 잘못된 결과를 고치는 데 또 대부분이 소모되다가 결국 한도가 차버려 5시간을 기다려야 한다는 이야기였다. 벤치마크 순위를 두고 오간 대화 사이에서, 정작 실제 작업 흐름에서는 한도에 걸려 사용량이 낭비된다는 체감이 나란히 놓인 셈이다.

오후 4시 8분에는 여러 참가자가 클로드(페이블)의 순위 하락을 두고 밈으로 반응했다.

페이블이 이젠 범부라니... ㅋㅋㅋ 그 짤 생각나네요 페이블아 그거 해봐 그거

순위와 체감 사이의 간극

벤치마크 발견부터 밈 반응까지 대화가 이어지는 동안, 정작 제미나이4 프로가 정식으로 공개됐다는 확인은 나오지 않았다. LMArena에 등장한 모델을 추정으로 다루는 단계였다는 뜻이다. 그런데도 클로드(페이블)의 순위 하락을 확정적인 사실처럼 받아들이고 밈까지 만들어 반응한 것은, 이 커뮤니티가 벤치마크 순위 변동에 얼마나 민감하게 반응하는지를 보여준다.

동시에 실사용 후기가 벤치마크 발견과 거의 동시에 따라붙었다는 점도 눈에 띈다. 순위표의 숫자만으로 판단이 끝나지 않고, 실제로 작업을 옮겨본 경험이 곧바로 검증대에 오른 것이다. 어느 서비스인지는 명시되지 않았지만 작업이 중간에 끊길 때 사용량이 낭비된다는 체감이 순위 이야기와 나란히 놓인 것은, 순위표의 성적과 실무 생산성이 항상 같은 방향을 가리키지는 않는다는 점을 시사한다.

이 화두에는 16명이 참여해 111건의 메시지를 남겼다.