한 팀이 허깅페이스 공인 벤치마크 47개 중 7개에서 1위를 했다고 소개했고, 방 안에서 확인된 것은 반응뿐이었다

밤 10시 12분, 에이전트코리아에 성과 소개가 연달아 올라왔다. 이날 저녁부터 자정 넘어까지 51명이 469건을 주고받은 방이고, 이 주제에는 4명이 10건을 보탰다. 한 참가자가 자기 팀이 스위스 취리히공대와 막스플랑크 연구소가 만든 유럽 대륙법 로스쿨 벤치마크 2건에서 1위를 했다고 알렸다.

스위스 취리히공대와 막스플랑크 연구소가 만든 유럽 대륙법 로스쿨 벤치마크 2건을 1위 했어요.

달성 방법과 수치는 한 사람의 설명

1분 뒤 같은 참가자는 재귀적 자가개선(RSI)을 만들어 모델에 적용해 달성했다고 설명했고, 이어 허깅페이스 공인 벤치마크는 모두 47개인데 그중 7개에서 1위를 했다고 덧붙였다. 적용한 대상은 Qwen 계열 베이스 모델이라는 설명이었다. 여기서 분명히 해 둘 점이 있다. 로스쿨 벤치마크 2건, 47개 중 7개, RSI라는 방법은 모두 소개한 참가자 한 사람의 설명이다. 첫 소개 글에 공유 링크 하나가 붙었을 뿐 점수표나 재현 방법은 올라오지 않았고, 이 기사도 그 성과가 사실인지 확인하지 못했다. 1위가 어떤 기준의 순위인지, 47개 가운데 나머지 40개는 어땠는지도 대화에는 나오지 않는다.

반응은 점수 차와 기술의 인상

수치를 따져 보는 질문은 이 주제 안에서 나오지 않았다. 대신 첫 소개로부터 3분 뒤, 다른 참가자가 짧게 반응했다.

점수차이도 꽤 나네요 2등이랑

이 말은 2위와 격차가 크다고 받아들였다는 뜻으로 읽힌다. 다만 어떤 벤치마크의 어떤 점수를 본 것인지는 대화에 나오지 않는다. 10분쯤 뒤에는 같은 참가자가 RSI가 좀 무섭다며 엄청난 기술인 듯하다고 덧붙였다.

RSI가 좀 무섭군요 ㄷㄷ 엄청난 기술인듯

같은 방의 아침 벤치마크 대화와 견줘 보면

같은 날 아침 이 방에서는 구글 제미나이 4 아르곤의 벤치마크 수치와 가격이 공유됐고, 장기 에이전트 작업 성능에는 기대가, 컨텍스트 창 약속에는 신중론이 함께 나왔다. 그때는 수치를 두고 신중한 반응이 함께 있었다. 이번에는 소개된 성과에 곧바로 격차에 대한 감탄과 기술에 대한 경외 섞인 반응이 붙었고, 검증을 묻는 말은 이 주제 안에서 보이지 않는다. 한쪽은 구글 모델의 벤치마크를 정리해 올린 글이었고 다른 쪽은 한 팀의 자기 소개라는 차이가 있어 같은 잣대로 비교하기는 어렵다. 그럼에도 두 날의 대화를 나란히 놓으면 벤치마크 순위가 올라올 때 방의 반응이 출처에 따라 달라질 수 있음을 시사한다.

소개한 참가자가 이 성과를 어디에 쓰려는지, 모델이나 결과를 공개할 계획인지는 대화에 나오지 않았다. 열 건짜리 짧은 대화여서 이것만으로 방 전체의 인식을 말하기는 어렵다. 다만 반응한 한 참가자는 수치 자체보다 방법의 인상을 먼저 받아들였다.