재미나이의 장점을 묻는 질문과 환각 통제 경험

23일 오후 1시 반을 넘긴 시각, 에이전트코리아에서 한 엔지니어가 짧게 물었다. 이 모델의 장점이 무엇이냐는 질문이었다. 질문에 쓰인 이름은 구글 제미나이를 가리키는 것으로 보이는 「재미나이」였다.

재미나이 이건 장점이 뭔가요?

질문자는 곧바로 한숨을 덧붙이고, 물어볼 때마다 혈압이 오르지만 참아야겠다고 했다. 이 대화에서는 모델의 이름이 두 가지로 불렸다. 질문자는 「재미나이」라고 했고, 뒤에 답한 몇몇 참가자는 「아르곤」이라고 불렀다. 두 이름이 같은 모델을 가리키는지는 대화 안에서 확인되지 않았으므로, 이 글은 말한 사람이 쓴 이름을 그대로 따른다.

장점이라기엔 엇갈린 첫 반응

처음 나온 답은 장점이라기보다 농담에 가까웠다. 한 기획 직군 참가자는 사면 구글 드라이브 용량을 주는 것이냐고 되물었다. 무엇을 사면 주는지는 이 대화에서 밝혀지지 않았다.

사면 구글 드라이브 용량을 준다?

질문자는 이어서 그것 말고는 장점이라 할 만한 게 없다고 했다. 다른 참가자는 유튜브 요약을 시키는 용도냐고 물었다. 한편 한 참가자는 아르곤이 생각보다 좋다고 했다.

아르곤 생각보다 조아요!

잘 통제하면 환각이 낮다는 쪽과 가짜 정보를 받았다는 쪽

긍정적인 평가는 조건이 붙어 있었다. 한 참가자는 잘 통제해 주면 환각이 낮고, 유튜브 내용을 잘 가져오며, 글을 잘 쓴다고 했다. 환각은 모델이 없는 사실을 그럴듯하게 만들어 내는 현상으로, 대화에서는 할루시네이션이라고 불렸다.

의외로 잘컨트롤해주면 할루시네이션이 낮고

반대로 질문자는 자신의 경험을 들었다. 질문하자마자 가짜 정보를 받아 잠시 화가 났다는 것이다. 얼마 뒤에는 초반이라 그런 것인지 환각이 만만치 않다고도 했다.

저는 초반이라 그런가 할루시네이션 장난아닙니다..

비슷한 시각 다른 참가자는 아르곤에 대해 영어로 글을 쓰면 생각보다 잘 쓰고, 생각보다 빠르며, 구글 드라이브를 주고 영상을 만들 수 있다는 점을 세 가지로 꼽았다. 또 다른 참가자는 테스트용으로 뽑아 보기 좋고, 시안을 만들 때 쓰면 생성형 AI의 역치를 낮춘다고 했다. 시안 작업에서 무엇이 구글로 주어진다는 뜻인지는 대화에서 풀리지 않았다.

생각보다.. 테스트 뽑기 좋다…. 시안을 만들때 구글로줘서 생성형 AI 역치를 낮춘다….

이 두 평가는 서로 다른 참가자의 것이다. 질문자의 환각 경험과 이들의 호평이 같은 모델, 같은 사용 방식에 대한 것인지는 대화만으로 알 수 없다.

지침으로는 모자라 훅으로 눌러야 한다는 조언

대화의 무게는 이 지점에서 모델 평가에서 운용법으로 옮겨 갔다. 한 참가자는 개인 지침을 빡세게 넣어야 한다고 했다. 그러자 다른 참가자가 지침 단계보다 훅으로 강하게 눌러야 한다고 거들었다. 훅은 대화에서 정의되지 않았으나, 맥락상 도구가 작동하는 중에 자동으로 끼어들어 조건을 검사하는 장치를 가리키는 것으로 읽힌다. 질문자가 어떤 훅을 넣느냐고 묻자 이렇게 답이 이어졌다.

출력금지 조건으로

답한 참가자는 글쓰기 용도의 예를 들었다. 문체 검사와 재생성 방식의 자세한 얘기는 같은 날 AI투 문체를 다룬 기사에서 살폈다. 이 참가자의 요지는 지침에 맡기기보다 출력 단계에서 막으라는 것이었고, 이것이 환각을 줄이는지는 이 대화에서 확인되지 않았다.

앞서 지침을 말했던 참가자는 이를 듣고 자신도 훅으로 해 보겠다고 했다.

참고해서 한 번 저도 훅으로 패보겠음

질문자는 고맙다고 답했다. 출력금지 조건을 말했던 참가자는 모델이 빠르고 쓸 만하다는 말에 이어, 객체지향이 기본으로 들어가 있지 않아 코드를 강하게 다뤄야 한다는 말도 했다. 앞서 테스트 뽑기를 말했던 참가자는 조금 뒤 이렇게 말했다.

상상력 좋음… 할루시가 장점이 되는 부분

이 대화가 보여 주는 것

장점을 묻는 한 줄 질문이 환각 통제의 경험 교환으로 번진 점이 눈에 띈다. 호평은 대체로 「잘 통제하면」이라는 단서를 달고 나왔고, 환각을 직접 겪었다고 한 사람은 질문자였고, 한 호평자도 환각은 포기했다고 했다. 이는 모델 자체의 우열보다 어떻게 묶어 쓰느냐가 체감을 가른다고 이 방 참가자들이 느꼈음을 시사한다.

다만 이는 몇몇 참가자의 체감이다. 환각의 빈도나 모델 간 비교를 뒷받침하는 수치는 대화에 나오지 않았고, 지침과 훅 중 무엇이 더 효과적인지도 검증된 것이 아니다.