GPT-6 아스트라 ARC-AGI-3 99.9%, 감탄과 유보 사이

오후 4시 11분, 한 참가자가 링크 하나를 올렸다. GPT-6 아스트라가 ARC-AGI-3에서 99.9%를 기록했고 행동 효율은 인간을 넘어섰다는 긱뉴스 기사였다. 8초 뒤에 붙은 반응은 짧았다. "미쳤네요 arc agi 3에서 99라닠ㅋㅋㅋㅋㅋㅋ" 웃음이 몇 줄 더 붙는 사이 링크 요약봇이 기사 내용을 정리해 올렸고, 오후 내내 다른 주제로 흐르던 방이 잠깐 그 숫자에 붙들렸다. 사실 아스트라가 이날 이 방에 처음 등장한 시각은 오후가 아니었다. 새벽 5시 36분에 같은 사람이 소개 영상 링크를 먼저 올려 뒀고, 요약봇이 정리한 시연 목록에는 노란 원을 로켓 창문으로 바꿔 3D 모델과 3D 프린터용 STL 파일을 만드는 작업부터 차기 시즌 우비 프레젠테이션 제작, 화살표 키와 스페이스바로 조작하는 소행성 회피 3D 게임까지 들어 있었다. 그때는 반응이 거의 붙지 않았고, 방이 실제로 움직인 것은 열 시간 반 뒤 숫자가 올라왔을 때였다.

요약에 적힌 숫자는 하나가 아니었다. 표준 조건에서는 62.7%, 문맥 관리 기능을 활용한 프로바이더 어댑터 방식에서는 99.9%가 나란히 적혀 있었다. 같은 모델이 같은 벤치마크에서 받은 점수인데 조건 표기가 달랐다는 뜻이다. 효율 쪽 수치도 함께 붙었다. 어댑터 방식은 인간 중앙값보다 평균 51.7% 적은 행동으로 과제를 해결했고, 토큰 사용량도 49% 줄었다는 대목이었다.

반응은 곧바로 나왔다. "그냥 아스트라는 agi 맞는거같은데요"라는 말이 4초 만에 올라왔고, 링크를 올린 쪽에서도 "사람보다 효율적이래요"라며 행동 효율 수치를 짚었다. 그 뒤에 나온 문장이 이 대화에서 가장 실무적인 질문이었다. "Provider adapter이 멀까 궁금하네요" 점수 자체가 아니라 그 점수를 만든 장치를 묻는 물음이었다.

언어를 버리면서 도약해버리는 ai들..

2분쯤 뒤 붙은 이 한 줄에는 다시 5분쯤 지나 "와 SF같아요"라는 감상이 이어졌다. 그로부터 3분 뒤에는 결이 다른 농담도 하나 올라왔다. 아스트라가 "내 db 다 지울 것 같음"이라는, 자율성이 올라간 모델을 앞에 둔 사람의 반쯤 진담인 경계였다. 감탄과 경계가 11분 사이 같은 화면에서 오간 셈이다.

정작 유보를 가장 먼저 단 사람은 기사를 공유한 당사자였다. 첫 감탄으로부터 16초 뒤 "물론 이것만 보고 믿으먄 안되지만"이라는 단서가 붙었다. 함께 올라온 요약도 마지막 줄에서 높은 점수는 제한된 벤치마크에서의 성과일 뿐 현실 세계의 개방적 문제 해결 능력이나 AGI 달성을 입증하지는 않는다고 적고 있었다. 감탄과 반론이 서로 다른 사람에게서 나온 게 아니라, 같은 사람의 두 문장 사이에 놓여 있었다.

이 대화의 축은 99.9%보다 그 옆에 적힌 62.7% 쪽으로 보인다. 두 숫자를 가른 것은 모델이 아니라 조건이고, 어댑터라는 층이 무엇을 대신해 주는지가 정해지지 않으면 높은 쪽 점수가 모델의 성적인지 조합의 성적인지 확정하기 어렵다. 요약도 외부 도구와 평가 조건의 차이를 고려해야 한다는 단서를 함께 달았다. 그렇게 보면 어댑터가 뭐냐는 질문은 감탄의 반대말이 아니라, 감탄을 확인 가능한 형태로 바꾸려는 시도에 가까웠다.

같은 날 이 방의 다른 자리에서는 아스트라를 아직 못 쓴다는 이야기가 오갔다. 벤치마크 점수는 오후에 도착했지만 손에 잡히는 접근권은 그때까지 오지 않은 상태였다. 감탄과 유보 사이에 놓인 것이 신중함만은 아니었을 수 있다는 뜻이기도 하다. 점수를 읽는 일과 그 모델을 직접 돌려 보는 일이 아직 떨어져 있는 동안, 방이 할 수 있는 평가는 남이 낸 벤치마크 표를 읽고 조건을 따져 보는 데까지였다. 그래서 이날의 결론은 AGI가 왔다도 아니고 과장이다도 아닌, 어떤 조건에서 잰 숫자인지부터 확인하자는 쪽에 가까웠다.