오푸스 5.5의 지침 이탈 호소와 코덱스 일본어 출력 경험담

어제 오후 에이전트코리아에서 한 참가자가 짧은 한숨과 함께 글을 올렸다. 클로드의 오푸스 5.5가 살살 맛이 가기 시작한 것 같다는 말이었다.

오푸스 5.5가 살살 맛이가기 시작한거같다

다른 참가자가 곧바로 업데이트 떡밥이겠죠, 하고 물었다. 떡밥은 업데이트를 앞두고 나오는 신호 같은 것을 가리키는 말로 읽히지만 대화에서 풀이되지는 않았다. 처음 말을 꺼낸 참가자는 이정도로 갑자기 멍청해진 적은 새 모델이 나올 때 느꼈던 정도라고 되받았다.

모델 새로나올때 느꼈던정도인데

오후에 이어진 지침 이탈 호소

그로부터 30분 가까이 지나 또 다른 참가자가 같은 모델을 두고 심하다는 글을 연달아 남겼다. 이유를 묻는 말이 올라오자, 이번에는 다시 다른 참가자가 구체적인 현상을 적었다. A라고 분명히 말했는데 D를 수행하고 있다는 것이다.

상당히 클리어 하게 지침을 주고 하라고 했다 생각했는데

이 참가자는 이어서 이 모델의 결과를 믿고 넘기지 않고 다른 도구로 한 번 더 확인하겠다는 뜻을 밝혔다.

codex랑 교차검증 시켜야 함

교차검증은 한 모델이 낸 결과를 다른 모델에게 다시 보여 맞는지 따져 보게 하는 방식을 말한다. 이 참가자는 자기가 지침을 명확하게 줬다고 생각했다는 말을 먼저 적은 뒤, 다른 모델로 확인해야 한다고 적었다. 얼마 뒤 이 참가자는 verbose 트리거가 켜진 것 같다는 말도 덧붙였지만, 무엇을 가리키는지는 대화에서 풀이되지 않았다.

저녁에는 코덱스의 일본어

어제 저녁에는 화제가 일본어 출력으로 넘어갔다. 한 참가자는 연결이 끊겼다 붙었다 하고 자꾸 일본어를 내놓는다는 불편을 적었다. 이 글에는 모델 이름이 없다. 다른 참가자가 곧 요즘 코덱스가 클로드에게 지고 있느냐고 물으며 일본어를 잘 내놓는다고 받았으니 코덱스 이야기로 읽을 여지는 있지만, 처음 글쓴이가 어느 도구를 두고 말했는지는 확정할 수 없다. 이 참가자는 몇 분 뒤 코덱스도 모델이 새로 나오기 전에 클로드 코드처럼 이상해지느냐고 물어, 앞의 불편이 클로드 코드 쪽이었을 가능성도 남겼다.

연결 끊겼다 붙었다 이러고, 자꾸 일본어를 뱉어요

일본어를 잘 내놓는다고 받은 참가자는 왜 유독 일본어인지 궁금해진다면서, 중국어는 한 번도 본 적이 없는 것 같다고 했다. 그 사이 또 다른 참가자가 코덱스를 직접 짚어 자기도 같은 현상을 겪었다고 보탰다.

저도 오늘 코덱스가 일본어 뱉뱉뱉

일본어 이야기를 이어 간 참가자는 코덱스가 평소에도 이상한 쪽이라면서도 마지막에는 이렇게 말했다.

우리보단 이상하지 않고 똑똑해요

읽을 때 조심할 점

이 대화에서 오간 것은 어디까지나 개별 참가자의 체감이다. 오푸스 5.5가 실제로 지침을 덜 따르게 되었는지, 코덱스의 일본어가 특정 환경에서만 나타난 것인지를 확인한 발화는 없고, 수치나 재현 조건도 나오지 않았다. 오후의 오푸스 이야기와 저녁의 코덱스 이야기를 한 원인으로 묶을 근거도 대화에는 없다.

다만 두 대목에는 겹치는 모습이 있다. 두 대목 모두에서 다른 모델이 비교 기준으로 등장한다. 한 참가자는 코덱스로 교차검증을 하겠다고 했고, 다른 참가자는 코덱스도 클로드 코드처럼 흔들리느냐고 물어 서로의 도구를 견주었다. 여러 모델을 함께 쓰는 사람들이 한 모델의 컨디션을 다른 모델과의 상대 비교로 가늠하는 것으로 보이며, 이는 두 대목에서 겹쳐 보이는 모습일 뿐 일반론으로 쓸 수는 없다.