AI 글 판별기와 워터마크를 둘러싼 신뢰 논쟁
AI 글을 가려낼 수 있는지, 가려낸다면 그것을 반칙의 근거로 삼아도 되는지를 두고 더배러에서 오간 공방
23일 저녁 6시 전후, 더배러 대화방에서는 40분 남짓 AI가 쓴 글을 가려낼 수 있느냐를 두고 공방이 이어졌다. 출발점은 한 참가자의 한 줄이었다. 클로드가 쓴 글에는 지문이 남아서 썼는지 안 썼는지 추적할 수 있다는 것이다.
클로드는 지문 남아서 썼는지 안썼는지 추적 가능합니다
이 참가자는 영상 링크를 올린 뒤 글에 워터마크가 있다고 덧붙였다. 영상의 내용은 대화에 옮겨지지 않았다. 통계적인 방법으로 알 수 있어서 중국 모델로 다듬어야 할 것이라고도 했고, 일부분이 닮는 것은 괜찮아도 전체가 닮으면 강하게 의심하게 되는 사람 지문에 빗댔다.
판별의 한계와 억울한 판정
바로 다른 참가자가 반박했다. 글에 지문을 무슨 수로 남기느냐는 것이다.
글에 지문을 무슨수로 남기죠? 그냥 옮겨적으면
이 참가자는 통계 패턴이 드러나지 않는 글을 쓰는 방법은 반나절이면 나올 것이라고 봤다. 더 근본적인 문제도 제기했다. 어떤 말 뒤에 특정 표현이 올 확률이 높다는 이유로 사람이 쓴 문장까지 AI 글 취급을 받아야 하느냐는 것이다. 비슷한 취지로, AI가 자주 쓰는 표현을 많이 쓴다고 AI가 썼다는 뜻은 아니라고도 했다.
AI가 자주쓰는 표현을 많이 쓴다 = AI가 썼다 는 아니니까요
같은 참가자는 억울한 사례가 많이 나와 이의 제기가 생길 텐데, 그때 기계로 돌려 보니 AI 83%가 나왔다는 말을 받아들여야 하느냐고 가정을 들었다. 83%는 실제 측정값이 아니라 이 가정 속 예시 수치다. 그 83%의 근거가 무엇이냐는 물음에 제대로 답해 줄지도 의문이라고 했다. 이 대목에서 다른 참가자는 양측이 증명하기 어렵다는 점을 짚었다.
일단 양측이 증명을 하기가 어려워요
검사기를 써 본 경험
판별 도구를 직접 만져 본 이야기는 낙관적이지 않았다. 한 참가자는 예전부터 AI 이미지 판독기와 글 판독기가 있었지만 적중률이 나빴다고 했다.
말도 안되는 적중률이었읍니다
앞서 양측이 증명하기 어렵다고 했던 그 참가자는 논문 표절 검사 서비스에 AI 검사기가 베타로 들어왔다고 알리며, AI에게 논문을 쓰게 해서 넣어 보면 0에서 100%까지 다 나온다고 전했다.
AI시켜서 논문쓰고 넣어보면 0 ~ 100%까지 다 나옵니다
한편 또 다른 참가자는 AI로 글을 몇 번 써 보니 이제 자신이 읽는 글이 AI가 썼는지는 가려진다고 했다. 이유로는 아직 클로드와 GPT가 한국인이 잘 안 쓰는 단어와 구조를 많이 쓴다는 점을 들었다.
아직 클로드와 GPT는 한국인이 잘 안 쓰는 단어와 구조를 많이 쓰는지라
도구냐 반칙이냐
논쟁은 판별이 되느냐에서 AI를 쓴 것이 잘못이냐로 번졌다. 억울한 판정을 걱정하던 참가자는 주판을 쓰던 사람이 엑셀을 인정하지 않는 것과 같은 개념이라며 따졌다.
어떤 도구를 썼느냐가 아닐텐데요
검사기 경험을 전한 그 참가자는 연구 지원 기관 회의에서 AI를 쓰지 않은 사람에게 가산점을 주자는 말이 나오자 이렇게 받아쳤다고 전했다.
'AI로 안쓴사람 가산점 줘야되는거 아니냐'라고 하길래 '여기 회의실까지 걸어오신분들 자문비 더 드립니까' 그랬어요
반면 앞서 AI 글이 가려진다고 했던 참가자는 AI 티가 나는 증권사 리포트가 읽기 싫어졌고, 설득이 목적인 글에서 기분을 상하게 한 것은 유죄라고 맞섰다. 또 한 참가자는 실제로 하지 않은 설문 데이터를 한 것처럼 만들어 달라고 AI에 시킨 결과가 논문으로 투고됐다는 사례 글을 보았다며 이렇게 적었다.
이런 사례 글을 보고 아.. 이게 진짜 좀 심한 반칙이구나 생각하게 되었습니다
판별의 문제와 반칙의 문제
이 대화에서 두 질문은 서로 다른 화자들의 입을 통해 갈라졌다. 첫째는 AI 글을 기술로 가려낼 수 있고 그 결과를 믿을 수 있느냐는 질문이다. 지문을 주장한 참가자의 근거는 대화에서 확인되지 않았고, 반론과 경험담은 정확도에 의문을 보탰다. 둘째는 AI를 쓴 것 자체가 잘못이냐는 질문이다. 여기서는 도구를 썼는지보다 하지 않은 일을 한 것처럼 꾸몄는지가 선으로 거론된 것으로 읽힌다.
다만 이는 몇 참가자의 의견과 전해 들은 사례이며, 판별 기술의 실제 성능을 보여 주는 자료는 대화에 나오지 않았다.