메타 뮤즈 원더, 실사용 오류 지적과 소넷급이라는 평

뮤즈 원더는 오전부터 언급됐다. 7시 43분에 뮤즈원더라는 한 줄이 처음 올라왔고, 9시 36분에는 한 참가자가 글로벌 AI 뉴스 요약에 메타 신모델 소식을 담아 올렸다. 이 기사에서 소넷급이라는 말은 메타의 새 AI 모델 뮤즈 원더를 클로드 모델 등급(소넷<오푸스)에 빗댄 평을 가리킨다. 이 화제에 참여한 사람은 6명, 오간 글은 14건이었다. 같은 날 코덱스 리셋 이야기에 30명이 모인 것과 비교하면 작은 규모다.

오류를 지적한 한 참가자

낮 10시 56분 한 참가자가 인상을 짧게 던졌다.

이거 생각보다 헛똑똑이 같네요

이 평가에는 곧바로 근거가 붙었다. 같은 참가자는 모델이 응답을 정해진 형식으로 돌려주는 structured output(구조화 출력)에서 오류가 7-8% 정도 난다고 지적했다.

뭔 structured output에서 7-8% 정도로 에러가 나지

이어서 외부 도구를 불러 쓰는 툴콜링(도구 호출)도 오류가 많다고 덧붙였다. 이 수치는 그 참가자의 체감이며, 어떤 작업을 몇 번 돌려 얻은 값인지는 대화에 담기지 않았다. 헛똑똑이라는 표현은 겉으로는 똑똑해 보이는데 허점이 드러난다는 뜻으로 쓰였다.

소넷급이라는 평 두 건

같은 시각인 10시 57분, 다른 참가자가 뮤즈 원더의 벤치마크와 요금 자료 링크를 올리며 자기가 정리한 것인데 소넷급인 것 같다고 적었다. 직접 써 본 경험이 아니라 자료를 정리한 결과로 읽힌다.

한참 뒤인 낮 12시 25분에는 또 다른 참가자가 글을 올렸다. 오푸스급이라는 말과 사용량이 많다는 말을 듣고 써 보려던 참이었는데 소넷급이라는 평이 많다는 내용이다.

sonnet급이라는평들이 많네요

소넷은 오푸스보다 한 단계 아래로 불리는 모델 등급이다. 다만 이 등급 표현은 정량 벤치마크가 아니라 사용자들의 체감 비교여서, 어느 항목에서 어느 정도 차이가 나는지는 확인되지 않는다. 10시대 오류 지적과 같은 시각의 소넷급 언급, 그리고 12시 25분의 글은 서로 다른 세 참가자의 말이다.

당시 방에서는 오전부터 코덱스 한도와 리셋 이야기가 훨씬 큰 비중을 차지했다. 그 틈에서 뮤즈 원더 이야기는 짧은 시간대에 몰려 올라왔다.

해석

이 대화가 시사하는 바는 새 모델에 대한 기대가 공식 소개에서 출발하더라도, 방 안에서는 곧 오류와 도구 호출 안정성 같은 실무 지표로 옮겨 간다는 점이다. 에이전트 작업을 하는 사람에게 7-8%의 형식 오류는 재시도 로직이 필요한 수준으로 읽혔을 가능성이 있다.

한편 평가에 참여한 인원이 6명에 그치고, 표본도 각자의 작업 환경도 서로 다르다. 소넷급이라는 말이 나왔다고 해서 모델의 위치가 확정된 것은 아니며, 이날 방에서는 기대보다 낮게 보는 말이 먼저 나왔다고 보는 편이 정확하다.