금지 규칙에 집착하는 AI, 그리고 여전한 제미니 환각

17일 오전 10시 37분, 한 참가자가 짧은 질문을 던졌다.

강화학습의 폐해이려나요

AI 모델이 규칙을 지키는 데 지나치게 집착하는 현상을 두고 나온 말이었다. 곧이어 다른 참가자가 자신의 경험을 풀어놓기 시작했다.

금지 규칙이 오히려 길을 잃게 만든다

AI들한테 네거티브리스트를 주거나 금지를 주면 그걸 안틀리는데 너무 집착하느라 자꾸 길을 잃더라고요

이 참가자는 곧이어 대안까지 제시했다.

사람이랑 비슷한 거 같아요 - 그래서 상위 목표를 잘 설계하고 거기 잘 닿는 경로 몇 가지 예시를 들고 맡기는게 - 좋은 모델들한텐 마이크로매니징보다 더 좋은 것 같았어요

하지 말아야 할 것들을 조목조목 나열하는 대신, 도달해야 할 목표를 명확히 설계하고 거기 닿는 경로의 예시 몇 가지를 함께 주는 쪽이 결과가 낫다는 경험담이었다. 금지 조항을 지키는 데 신경을 쓰다 보면 오히려 원래 하려던 작업에서 벗어난다는 이야기는, 모델을 다루는 방식 자체에 대한 문제 제기이기도 했다.

세 모델 중 제미니의 환각이 가장 심하다

같은 참가자는 이어서 클로드·코덱스·제미니 세 모델을 비교한 경험도 공유했다.

제미니는… 다른것보다 환각이 너무…. 심해요. 클로드도 웹서치가 좀 떨어지고 코덱스는 웹서치 잘하는데, 제미니 환각이 제일 심한 것 같아서 복잡하고 중요한 작업 이런거보다. 환각이 심하면 일상작업에 더 안좋았던 거 같애서요 3.8은 좀 괜찮아졌나보네요

클로드는 웹 검색이 약하고 코덱스는 웹 검색을 잘하지만, 셋 중 제미니의 환각(사실이 아닌 내용을 사실처럼 만들어내는 현상)이 가장 두드러진다는 평가였다. 오히려 복잡하고 중요한 작업보다 일상적인 작업에서 환각의 피해가 더 크게 느껴졌다는 대목도 눈에 띄었다. 바로 뒤이어 다른 참가자가 공감을 보탰다.

할루시 제발 그만 ㅠ 너에게 뇌를 위탁하고싶어~¡

규칙 설계와 환각, 같은 뿌리의 두 문제

금지 규칙에 대한 과도한 집착과 환각은 겉보기엔 다른 문제 같지만, 둘 다 모델이 자신에게 주어진 조건을 어떻게 처리하느냐는 지점에서 만난다. 하지 말라는 조항에 집착해 원래 목표에서 벗어나는 것도, 확인되지 않은 내용을 사실처럼 만들어내는 것도, 결국 모델이 주어진 맥락을 얼마나 정확하게 다루느냐의 문제라는 점에서 같은 뿌리를 두고 있는 것으로 보인다. 네거티브리스트보다 상위 목표와 예시를 주는 방식이 낫다는 경험, 그리고 제미니의 환각이 가장 심하다는 평가가 같은 대화 안에서 이어진 것은, 참가자들이 모델을 신뢰하고 맡기려면 규칙 설계와 환각 억제라는 두 축이 함께 해결돼야 한다고 느끼고 있음을 시사한다.

이 화두에는 13명이 참여해 61건의 메시지를 남겼다.