AI 심사 경험담과 발표·실물 시연 중시 전망

23일 저녁 6시를 넘기며 더배러의 AI 글 판별 논쟁이 잦아들 무렵, 한 참가자가 대화의 다음 걱정을 꺼냈다. 심사하는 사람들이 고생하겠다는 것이다.

하여튼 요즘 뭔가를 심사하시는분들이 참 애먹으실것같습니다

이어진 이야기는 쓰는 쪽과 심사하는 쪽이 모두 AI를 쓸 때 무슨 일이 벌어지는지에 관한 것이었다.

전해 들은 역방향 검토

한 참가자는 교내 교수와 하네스(AI를 업무에 붙여 쓰는 도구·틀)를 잘 다루는 사람을 언급하며, 전해 들은 이야기라고 밝히고 한 가지 방법을 전했다. 누가 누구에게 들었는지는 발화만으로 확정되지 않는다. 논문을 AI로 적대적으로 검토(참가자의 표현으로는 Agentic Review)해 고쳐 둔 다음, 심사위원이 AI 심사로 대충 돌려도 경미한 수정 요구에 해당하는 마이너 리비전(minor revision)이 나올 정도로 일부러 흠을 남긴다는 것이다. 대화에 따르면 역-하네스는 이 틀을 심사 쪽 공격에 맞게 거꾸로 짜는 방식을 가리키는 말로 읽힌다.

심사위원도 AI 심사로 대충 돌리면 마이너 리비전이 뜰정도로 역으로 망가뜨려서 “예쁘게 공격하기 좋게” 역-하네스를 한대요.

리비전 판정이 나오면 이미 고쳐 둔 부분을 다시 손봐 투고하는데, 그러면 거의 통과된다고 들었다는 설명이 붙었다.

그래서 리비전이 뜨면 이미 고쳐놓은 거를 다시 손봐서 투고하면 거의 통과된다고 하는 얘기를 들었습니다.

전해 들은 이야기를 이 참가자가 다시 대화방에 옮긴 것이므로 실제로 통과했는지는 대화에서 확인되지 않는다. 이 참가자 스스로도 역 하네스는 생각도 못 해 봤다고 했다. 다른 참가자들은 이 구도를 창과 방패의 역사에 견주거나, 적대적 생성 신경망(GAN)을 닮았다고 했다.

이거 GAN 아닌가요

또 다른 참가자는 수학 증명을 했다며 보내온 결과를 검증하다 보면 중간중간 부실한 AI 생성물(slop)이 많아 힘들다는 말도 있더라고 전했다. 직접 겪은 일이 아니라 들은 말이다.

직접 겪은 AI 대전

반면 직접 겪은 사례도 나왔다. 한 참가자는 스타트업 사업 컨설팅을 하다 겪은 일을 이렇게 적었다.

사업기획서 갖고오랬더니, AI로 써온걸 AI로 평가해서 인터뷰하는

이 참가자는 그 상황을 AI 대전이라고 부르며, 사람이 병목이라는 말을 제대로 느끼고 있다고 했다. 기존에 사람이 하던 절차 상당수가 무의미하게 느껴지기도 한다는 말이 이어졌다.

논문 다음의 평가

화제는 AI가 논문을 쓰는 일이 극단으로 가면 논문이 무슨 의미가 있느냐는 물음으로 넘어갔다. 이를 꺼낸 참가자는 그렇다면 논문 다음이 있어야 하고 학자들이 고민해야 한다고 했다.

AI가 쓰는 논문이 극단화 되면 논문이란게 무슨 의미가 있을까요?

잠시 뒤 다른 참가자가 현장에서 도는 이야기를 전했다. 논문과 특허 실적을 인정하지 않는다는 말이 진지하게 나오고 있고, 현장 실증으로 실제 결과가 보이지 않으면 불인정이라는 것이다.

요즘 진지하게 논문. 특허 실적 인정 안한다는 이야기 나옵니다

이 참가자는 인문계는 그렇게 하기 어렵지만 이공계는 가능한 영역이 많다고 선을 그었고, 학회에서 구두 발표의 가치가 논문 출판보다 높아지고 있다고도 했다. 어느 기관의 어떤 제도인지는 언급되지 않았으므로 '들은 흐름'으로 읽어야 한다.

학회 구두발표 가치가 논문 출판보다 높아지고있죠

앞선 컨설팅 경험을 말한 참가자는 발표 능력이 더 중요해질 것 같다며 지금 실전 트레이닝 중이라고 했다. 시연에 대해서는 앞서 GAN을 언급한 참가자가 영상이 아닌 실제가 더 중요해질 것이라고 했다.

시연도 영상이 아닌 실제가 더 중요해질겁니다

같은 참가자는 영상은 생성할 수 있기 때문이라는 이유를 달았다. 한편 논문 다음을 물었던 참가자는 논문을 AI가 쓸 수 있다고 가정하면 영향력 있는 사람이 여론을 몰고 다닐 것이라고 내다봤다. 쇼호스트가 미래라는 농담과 양극화 걱정이 뒤따랐으나, 이는 가벼운 덧붙임에 가까웠다.

글이 변별력을 잃는 자리

이 대화는 평가의 대상이 글에서 사람과 현장으로 옮겨 갈 수 있다는 인식을 보여 준다. 쓰는 쪽이 AI를 쓰고 심사하는 쪽도 AI를 쓰면, 글만으로는 잘 쓴 사람과 잘 돌린 사람을 가르기 어렵다는 감각이 깔려 있는 것으로 보인다. 영상을 생성할 수 있으니 실물이 중요하다는 말도 같은 맥락이다.

다만 이는 역방향 검토 일화처럼 전해 들은 이야기와 한 참가자가 들은 흐름, 그리고 전망에 기댄 것이다. 실적 불인정이 실제로 어디서 적용되는지, 구두 발표가 얼마나 높이 평가되는지는 대화로 확인되지 않았다.