「하지 말 것」으로는 못 막는다 — 결과물에 남는 메타 문구를 「청자 오류 문구」라 부르는 참여자도 있었다

저녁 7시 20분께 에이전트코리아에서 한 참여자가 모델이 결과물에 쓸데없는 말을 남긴다고 토로했다. 답변 길이 설정(verbosity)을 최저로 둬도 작업 설명이나 원가 같은 내부 정보가 최종 결과물에 적힌다는 것이다.

ui verbosity : lowest 라고 아예 안쓰게 해도 꼭 저러네요

이 주제에는 8명이 37건을 주고받았다. 설정 하나로 해결될 줄 알았던 문제가 그대로 남았다는 점이, 비슷한 경험을 가진 참여자들을 불러 모은 것으로 보인다. 이날 저녁 방에서는 새로 나온 6 버전 모델이 시킨 일을 엉뚱하게 한다는 불만과 오푸스가 근거를 스스로 지어냈다는 사례도 함께 나왔다. 모델이 지시와 다르게 움직이는 장면을 여러 참여자가 같은 저녁에 꺼내 놓은 셈이다.

금지할수록 떠오르는 코끼리

다른 참여자는 문제집을 만드는데 모델이 자꾸 어느 교과서에서 나온 문제인지를 넣는다는 사례를 보탰다. 또 다른 참여자는 「하지 말 것」식 금지가 오히려 역효과를 낸다고 짚으며 "코끼리를 상상 하지 마세요"라는 한 줄로 요약했다. 금지 문구가 도리어 그 내용을 떠올리게 만든다는 지적이다.

두 사례는 성격이 조금 다르다. 앞의 것은 원가 같은 내부 정보가 새어 나오는 문제이고, 뒤의 것은 굳이 필요 없는 출처 표시가 붙는 문제다. 그런데도 참여자들은 둘을 같은 현상으로 묶어 이야기했다. 모델이 작업 과정에서 알게 된 내용을 결과물에까지 끌고 온다는 공통점을 본 것으로 보인다.

보고와 결과물을 헷갈린다

처음 문제를 꺼낸 참여자는 원인을 다른 곳에서 찾았다. 모델이 사용자에게 하는 보고와 최종 결과물을 구분하지 못한다는 진단이다. 금지를 더하기에 앞서 모델이 무엇을 헷갈리는지부터 본 것이다.

보고랑 결과물을 헷갈려 한다고 저는 개인적으로 판단합니다

이 참여자는 이런 문장을 「청자 오류 문구」라고 정의한다고 덧붙였다. 결과물을 읽을 사람이 누구인지 모델이 잘못 잡았다는 뜻으로 읽힌다. 이 참여자가 따로 부르는 이름을 갖고 있다는 것은, 그에게 이 현상이 반복해 부딪히는 문제라는 뜻으로 읽힌다.

이 진단은 해법의 방향도 바꿔 놓는다. 금지 목록을 늘리는 대신 이 글을 누가 읽는지부터 모델에게 분명히 알려 주는 쪽으로 생각을 옮기게 한다는 점에서다. 문제 제기부터 이 진단이 나오기까지는 10여 분이 걸렸다. 현상에 이름이 있으면 서로의 사례를 빠르게 맞춰 볼 수 있다는 점에서도 쓸모가 있어 보인다.

같은 날 오후 룰베이스 고민과 이어진 흐름

같은 날 오후 이 방에서는 오류가 날 때마다 룰베이스로 제한을 걸다 보면 나중엔 그것이 에이전트를 방해한다는 고민이 나왔다. 이날 금지 프롬프트의 역효과 이야기는 그 연장선으로 보인다. 막는 규칙을 덧붙이는 방식의 한계를 반나절 새 두 번 짚은 셈이다. 다만 이 진단이 실제 해결책으로 이어졌는지는 이날 대화 안에서 확인되지 않았다.