논문 검증부터 법령 환각까지 — AI 신뢰성을 점검한 오후

한 참여자가 "혹시 제가 찾은 논문들이 실제 잘 인용되었고 실물인지를 검증해주는 스킬 플러그인들이 있을까요?"라고 묻는 것으로 화제가 시작됐다. 논문을 찾아주는 것과, 그 논문이 실제로 존재하고 정확히 인용됐는지를 확인하는 것은 다른 문제라는 인식이 질문 밑에 깔려 있었다. 검색 결과를 곧이곧대로 쓰지 않고 한 번 더 확인할 방법을 먼저 찾는 태도에서, 연구·문헌 작업에 AI를 쓰는 사람들 특유의 조심스러움이 엿보였다. 참여자 5명, 메시지 12건으로 규모는 작았지만 이어진 응답들은 저마다 구체적인 해법을 담고 있었다.

곧이어 다른 참여자가 더 직접적인 경험담을 보탰다. "분명 api 이용해서 하는건데 없는 법령 지어내고"라며 법령 검토를 맡겼다가 존재하지 않는 조항을 마주한 사례를 전했고, 믿고 그대로 쓰기는 어렵다고 토로했다. 다만 이 참여자는 모델 컨디션 탓일 수도 있다는 단서를 함께 달았다. 그럼에도 API를 통해 정식으로 호출한 결과에서 없는 조문이 나왔다는 점은, 환각을 사용법 문제로만 돌리기는 어렵다는 인상을 남겼다.

논문과 법령이라는 두 사례는 서로 다른 영역이지만 공통점이 있다. 둘 다 겉보기에는 권위 있는 출처처럼 보이지만, 실제로는 존재 여부조차 확인되지 않은 채로 답변에 섞여 들어갔다는 점이다. 전문 지식이 없는 사용자는 그 경계를 스스로 알아채기 어렵다는 사실이, 이 대화를 단순한 도구 불만으로 끝나지 않게 만들었다.

검증을 외부 도구에 맡기다

해법으로는 외부 검증 도구를 연결하는 방식이 제시됐다. 한 참여자는 "Crossfref mcp를 쓰는게 가장 편합니다. 찾아보면 있어요"라며 학술 인용 데이터베이스를 조회하는 도구를 추천했고, 다른 참여자는 "저는 논문 찾으면 zotero에 넣고 대답하는걸 기본으로 하다보니 없는 논문 가지고 이야기는 하지 않더라고요"라며 레퍼런스 관리 도구에 자료를 먼저 넣어두는 자신의 방법을 소개했다. 두 대답 모두 AI의 답을 그대로 믿기보다, 검증 가능한 외부 데이터에 먼저 걸쳐두는 우회로였다. 모델의 답변 능력을 더 키우는 방향이 아니라, 모델 바깥에 사실 확인 장치를 두는 방향으로 각자 해법을 찾고 있다는 공통점이 있었다.

논문이든 법령이든, 그럴듯하게 지어낸 답은 사용자가 원문을 직접 대조하기 전까지는 오류인지 알아채기 어렵다는 점에서 다루기 까다롭다. 이날 오후 대화가 스킬 추천에서 끝나지 않고 검증 절차 자체를 이야기한 것은, 개별 답변의 사실성 문제를 도구 하나로 메우기보다 확인 단계를 아예 워크플로우에 박아 넣으려는 흐름으로 읽힌다. 같은 날 다른 화제에서도 AI가 내놓는 결과물을 곧이곧대로 믿지 않는 정서가 이어졌다는 점에서, 이 오후의 대화는 하루 전체를 관통한 신뢰성 점검의 한 장면에 가까웠다. 검증 도구 하나를 소개받는 것으로 대화가 끝나지 않고 각자의 작업 습관까지 공유된 것은, 이 문제를 개인 차원에서 계속 풀어가야 한다는 공감대가 자리 잡았음을 보여준다.