보고서 환각 3곳이 모두 수치 오류였던 경험

24일 오전 더배러 대화방에 환각과 싸운 경험담이 올라왔다. 글을 올린 한 참가자는 환각이 조용해진 듯하다가도 끝이 없다는 말로 시작했다. 이어 얼마 전 레퍼런스 100개를 바탕으로 쓴 30쪽 분량 보고서에서 겪은 일을 소개했다.

환각은 3군데. 모두 수치 오류였습니다.

최소값이 최대값으로

이 참가자가 든 예는 구체적이었다. 원문에 어떤 수치 이상이라고 적혀 있던 것이 최대 그 수치로 바뀌어 있었다는 것이다. 한 줄로 줄이면 이렇다.

최소값이 최대값으로 바뀌었습니다.

여기서 이 참가자는 걱정의 방향을 법률과 회계 쪽으로 넓혔다. 이 분야에서 AI를 많이 쓴다고 들었는데, 형량이나 벌금의 상하한선이 뒤바뀔 수 있는 문제라는 이유였다. 또 이 문제는 곰곰이 생각한다고 풀리는 성격이 아니라고 보았다.

더블 체크, 트리플 체크가 필수입니다.

다른 참가자는 아는 언론사 기자가 환각 때문에 기사 원문은 AI에게 맡기지 않는다고 전했다. 실수에 대한 책임이 무섭다는 이유였고, 이는 전해 들은 일화다. 이 말에 처음 글을 올린 참가자는 그 비용이 월급에 포함된 것이라고 짧게 답했다.

문답식 검증 제안과 반론

그 직후 같은 기자 일화를 전한 참가자가 한 가지 방법을 내놓았다. 글을 넣고 모든 팩트와 수치를 소크라테스식 문답으로 확인시키는 일을 음성 대화로 돌려 보자는 것이다.

저는 글을 넣고, 분석해서 이 글의 모든 팩트나 수치에 대해서 소크라테스식 문답법으로 확인해줘. 라고 한 번 음성채팅으로 돌려보는 것도 좋을 것 같습니다.

소크라테스식 문답법은 질문을 거듭하며 답을 점검해 가는 대화 방식이다. 보고서 경험을 올렸던 참가자는 정중하게 선을 그었다.

저는 소크라테스식 문답법 별로 안좋아합니다. 팩트가 중요한 이공계 일을 하다보니 소크라테스는 자꾸 말꼬리를 잡고 산으로 보내요

의견을 놓고 토론할 때는 좋지만 그럴 일이 별로 없다고도 했다. 제안한 참가자는 먼저 맞는 말씀이라고 받은 뒤, 사실 확인을 할 때는 해 볼 만하더라고 덧붙였다. 또 다른 참가자가 AI와만 대화하면 산으로 가기 쉽다고 거들었고, 사람이 중심을 잡아 줘야 한다는 취지의 말을 덧붙였다.

맞아요 ai랑만 하다보면 산으로 가기 쉬워요

검색 한 번과 말씨름 사이

반론은 효율 쪽으로 모였다. 보고서 경험을 올린 참가자는 앞의 사실 확인 발언을 받은 것으로 보이는데, 검색하면 한 번에 끝난다고 했다.

그냥 검색하면 한번에 끝납니다 ㅎ

이어 구글링으로 끝낼 일을 AI와 말씨름하지 않으면 좋겠다는 말도 보탰다. 문답식 방법을 제안했던 참가자는 방해되지 않는 인터뷰를 설계할 때 참고하겠다고 받았고, 검색해 보니 대화법이 여러 가지라 연구해 볼 만하다고 적었다. 다음 이야기로 넘어갈 때까지 어느 쪽이 맞는지는 정해지지 않았다.

읽을 점

이 공방은 두 가지 질문이 한데 섞여 있었다는 점에서 눈에 띈다. 하나는 환각이 어디에 생기느냐이고, 다른 하나는 그것을 AI에게 다시 묻는 방식으로 잡을 수 있느냐이다. 첫 번째에 대해 보고서를 쓴 참가자의 증거는 한 건의 경험이다. 환각이 수치에 몰리는 경향이 있다는 일반론은 대화에서 나오지 않았고, 이 보고서에서 3곳이 모두 수치였다는 사실만 확인된다.

두 번째에 대해서는 문답식 검증이 말꼬리 잡기로 흐른다는 불만과 사실 확인에는 쓸 만하다는 경험이 엇갈렸다. 어느 쪽도 같은 보고서에 실제로 적용해 비교한 결과는 아니다. 따라서 이 대화는 어떤 방법이 낫다는 결론이 아니라, 검증 도구를 고를 때 일의 성격과 자신의 경험이 먼저 작용한다는 읽기를 낳는다. 이는 대화에서 나온 주장이 아니라 이 기사의 읽기다.