GPT-6 아스트라, 첫날 블라인드 테스트서 클로드 페이블 5.1에 9대 1 완승
GPT-6 아스트라(Astra) 출시 첫날, 어느 쪽 답변인지 가리지 않고 고른 블라인드 테스트에서 10건 중 9건이 아스트라로 쏠렸다는 고백이 방을 술렁이게 했다. 이튿날 아침 다른 참여자가 독립적으로 같은 실험을 재현하며 같은 비율을 확인했고, 나흘치 작업이 프롬프트 두 줄·42분으로 줄었다는 체감담까지 겹치며 출시 첫날부터 체감 성능 격차가 뚜렷했음을 시사한다.
심야 방에 "블라인드 테스트 했거든요??"라는 짧은 도발이 떨어진 순간, 참여자들의 시선이 한곳으로 쏠렸다. 밤 11시 8분, 한 참여자가 GPT-6 아스트라(Astra)와 클로드 페이블(Fable) 5.1을 블라인드로 맞붙인 결과를 공개했다. 어느 쪽이 만든 답변인지 가리지 않고 골랐는데, 10건 중 9건에서 손이 아스트라로 갔다는 고백이었다. 에이전트코리아방이 이틀째 GPT-6 아스트라 출시 여진에 휩싸여 있던 와중에, 이 발화는 그 흐름 위에 올라온 첫 정량적 증언이었다.
9대 1이라는 숫자가 만든 술렁임
이어진 발화는 담담하지 않았다. 같은 참여자는 "정말…. 울고싶을정도로 9건을 전부 아스트라 선택함.."이라며 결과 앞에서 느낀 당혹감을 그대로 드러냈다. 회사 발표나 공식 벤치마크 점수가 아니라, 실제로 매일 쓰는 사람이 답변을 가려 놓고 직접 고른 결과라는 점이 이 고백에 무게를 더했다. 2분 뒤에는 작업량 비교까지 붙었다. 5.6으로 나흘을 붙잡고 짠 결과물보다, 아스트라에게 프롬프트 두 줄만 던져 받은 결과물이 더 나았다는 체감이었다.
"5.6으로 4일동안 짠것보다 아스트라한태 프롬프트 두 줄로 짜달라 한 결과물이 압도적으로 좋네요.."
이 인용 속 "5.6"이 정확히 어떤 모델을 가리키는지는 원문만으로는 분명하지 않다(앞서 언급된 페이블 5.1의 오기인지, 별개 모델을 가리키는 것인지는 확인되지 않는다). 여기에 소요 시간까지 얹혔다. "42분만에 결과물 내놓던데"라는 짧은 언급이 뒤따르며, 나흘이 걸리던 작업이 한 시간이 채 안 되는 시간으로 줄어든 셈이 됐다. 결과물의 질과 걸린 시간이 동시에 갈렸다는 두 축의 증언이 같은 대화창 안에서 겹친 것이다.
다음 날 아침에도 이어진 같은 결론
술렁임은 그날 밤으로 끝나지 않았다. 이튿날 아침 7시 39분, 다른 참여자가 독립적으로 같은 실험을 했다고 전했다.
"페이블 5.1이랑 블라인드 테스트 10건했는데 그중 9건을 아스트라 선택했습니다.. 제 경우지만요…"
이 발화는 전날 밤의 결과와 정확히 같은 비율을 재현했다. 두 발화 사이에는 여덟 시간이 넘는 간격이 있고 작성자도 다르지만, 표본 수(10건)와 비율(9대 1)이 겹친다는 점이 방의 반응을 더 키웠다.
다만 두 사례 모두 개인이 임의로 고른 과제를 기준으로 한 체감 비교라, 표본이 무엇이었는지는 공개되지 않았고 재현성을 담보할 통제된 실험도 아니었다. 그럼에도 출시 첫날부터 같은 결론이 두 번, 그것도 서로 다른 참여자에게서 독립적으로 반복됐다는 사실 자체가, 아스트라의 체감 성능이 기존 라인업 대비 확실히 갈렸음을 시사하는 것으로 보인다. 나흘치 작업이 두 줄짜리 프롬프트와 42분으로 줄었다는 체감까지 겹치면서, 방의 화두는 이후 곧바로 그 성능을 유지하는 데 드는 비용 쪽으로 옮겨가게 된다.