아스트라 성능 저하 체감과 모델 섞어 쓰기

21일 저녁, 더배러에서는 다른 참가자의 이음 오피스 문서 작성 시연에 반응이 이어지던 중, 한 참가자가 다른 얘기를 꺼냈다. GPT Codex가 요새 기분 탓인지 갈수록 이상하다는 것이다. 디자인 스킬을 다듬는 중이었는데, 서브 에이전트로 적대적 검토(adversarial review)를 돌렸는데도 어설픈 AI 생성물 티가 나는 디자인이 더 튀어나왔다고 했다. 세게 몰아붙이고 나서야 검사를 이상하게 해서 통과시킨 결함이 드러났고, 이런 일이 많아졌다고 했다. 이어 아스트라를 xhigh로 쓰는데도 왜 이러냐고 적었다. 아스트라는 방에서 AI 모델 이름으로 쓰인 말이고 xhigh·Medium·High·Max는 모델의 사고량을 고르는 설정 단계로 읽히지만, 대화에 정의는 나오지 않았다. 코덱스와 아스트라가 어떤 관계인지도 설명되지 않았다.

Astra xhigh인데 왜 이모양이지...

설정을 올려야 한다는 답

다른 참가자는 아스트라는 Max로 하지 않으면 실수가 잦다고 답했다. 같은 참가자는 High까지 올려도 환상(없는 내용을 지어내는 현상)이 생기더라고 했고, Luna, sol, 아스트라에 같은 요약을 시켰더니 아스트라 max 말고는 다 환상이었다고 했다. 처음 글을 쓴 참가자는 Medium 정도에서도 뭔가 확 이상하다며 너프(성능을 일부러 낮춘 것 같다는 뜻의 속어)된 것 같다고 했다. 아스트라 원래 글쓰기도 미디엄 정도만 해도 잘 썼는데 요새는 꽤 이상하다는 말도 덧붙였다.

아스트라 요새 너프된거 같아요 Medium 정도만 해도 뭔가 되게 확 이상함

여기서 '너프'는 사실 확인이 아니라 참가자의 추정이다. 말한 본인도 기분 탓인가 하는 단서를 두 번 달았다. 모델이 실제로 바뀌었는지, 설정별 차이가 얼마나 되는지를 보여 주는 수치나 비교 자료는 이 대화에 나오지 않았다.

출시 직전, 아니면 출시 일주일 뒤

또 다른 참가자는 이런 증상이 나오는 걸 보니 곧 새 모델이 나오나 보다고 받았고, terra라는 새 모델 얘기가 많긴 했다고 덧붙였다. terra가 무엇을 가리키는지는 확인되지 않았다. 처음 글을 쓴 참가자는 특정 시리즈(철자가 분명치 않다)는 모델 출시 직전에 항상 그랬던 것 같다고 맞장구쳤고, 프롬프팅 탓을 아무리 해도 도가 지나칠 만큼 성능이 빠졌다고 느낀 적이 꼭 뭐가 나오기 직전이었다고 했다.

저는 어지간해선 제 프롬프팅 탓을 해도 해도해도 너무하다 싶을정도로 확 뇌 뺀 성능 체감되곤 했었음 꼭 뭐가 나오기 직전이면

같은 현상을 놓고 시점을 달리 짚은 참가자도 있었다. 아스트라를 Max로 쓴다던 참가자는 원래 항상 느끼는 건데 모델이 나오고 일주일 뒤면 디버프(성능 약화)가 너무 체감된다고 했다. 한쪽은 출시 직전, 다른 쪽은 출시 일주일 뒤를 말해서 두 체감이 같은 시점을 가리키는 것은 아니다.

한 모델로 버티기보다 섞어 쓰기

대응은 크게 두 갈래였다. 한 갈래는 앞서 나온 대로 설정을 Max까지 올리는 것이다. 다른 갈래는 모델을 섞는 것이다. 한 참가자는 모델마다 놓치는 게 다르다며 opus와 sonnet을 섞었더니 꽤 괜찮다고 했다. 아스트라를 Max로 쓴다던 참가자는 Luna가 만들고 minimax가 검증한 결과가 아스트라 max로 돌린 것과 비슷했다며 저렴이 조합이라고 불렀다.

이 조합을 두고 한참 뒤인 저녁 9시 반쯤 다른 참가자가 Luna를 아스트라 수준으로 쓸 수 있다는 건 검증을 잘해서냐고 되묻자, 조합을 말한 참가자는 검증을 잘한다기보다 Luna와 사실상 비슷한 급인데 모델이 다르다 보니 Luna가 놓친 것을 잡아내는 느낌이라고 답했다.

루나가 놓친걸 잡아내는 느낌이죠

그는 luna 생산에 sol6.1 검증, luna 생산에 minimax 검증 조합이 아스트라 medium 생산보다 우위였고 아스트라 max는 혼자서도 잘한다고 정리했다. 우위의 대상은 조합을 나열한 바로 앞 줄과 이어 읽으면 조합으로 보이나, 문장에 주어가 명시되지는 않았다. 여기서 sol6.1과 minimax가 각각 어떤 모델인지도 대화에서 설명되지 않았다.

마지막으로 Opus와의 비교가 이어졌다. 처음 글을 쓴 참가자는 바이브 코딩, 즉 코드를 직접 짜지 않고 말로 시켜 만드는 방식에서는 오오푸스가 넘사벽이라고 했다. 이 참가자가 말한 오오푸스가 Opus를 가리키는지는 본인 입으로 확정하지 않았다. 별도로 한 참가자는 아스트라보다 opus 5.5가 나을 때가 많다고 했고, 또 다른 참가자가 비슷하게 느낀다고 했다.

astra보다 opus 5.5가 나을 때가 많더라구요

이 대화는 어떤 모델이 더 낫다는 결론이 아니라 체감의 기록이다. 그래도 같은 증상 앞에서 설정을 올리는 사람과 서로 다른 모델에게 검증을 맡기는 사람이 나뉜다는 점, 그리고 성능이 바뀐 것 같다는 느낌을 확인할 객관 지표를 이 방 안에서는 보여 주지 못했다는 점은 분명히 남는다.