논문 홍수가 부른 검증 병목과 권위의 출처

저녁 무렵 더배러에 한 참가자가 학회에서 한 발표 내용을 발표자료와 함께 공유했다. 공유된 발표 요지는 지금 AI for Science가 마주한 도전이 성능이 기대에 못 미치는 AI 모델이나 자율실험실보다 논문의 홍수에서 나온다는 것이었다. 공유글은 여기에 더해 논문 편수와 임팩트 팩터(학술지의 영향력 지표)로 심사하는 관행이 여전히 많은 곳에 남아 있다고 짚고, 이 방식이 맞는지 다시 생각할 시점이라고 적었다.

검증 병목을 둘러싼 반응

공유자는 대화에서 자신의 진단을 이렇게 요약했다.

논문의 홍수로 인한 검증 병목과 논문 가치 추락이라고 보고 있습니다.

다른 참가자는 문제가 곧 슬롭(AI가 쏟아내는 저품질 생성물)이 넘쳐난다는 뜻인지, 그에 비해 검증 시스템은 부재한 것인지 되물었고, 공유자는 맞다고 답했다. 이어 한 참가자는 자신도 논문을 쓰고 있어 드릴 말씀이 없다고 했고, 공유자는 자신도 논문과 보고서를 쓰고 있다고 답한 뒤 이렇게 말했다.

검증을 얼마나 제대로 하느냐가 관건인데.. 이 아사리판이 어떻게 돌아갈지 모르겠어요

이 대목에서 공유자는 이 아사리판이 어떻게 돌아갈지 모르겠다며 우려를 드러냈다. 이후 한 참가자는 이 주제로 오프라인 대토론회를 열면 밤새 불타오를 듯하다고 농담했고, 다른 참가자는 이 주제로 더배러톡톡을 하자고 제안하며 문제의식이 없는 대학원생이 성과를 가져갈 수 있는 시대라는 화두를 내놓았다.

권위는 어디서 나오는가

밤이 깊어지자 같은 방에서 논의가 한 단계 옮겨 갔다. 한 참가자는 학생들에게 좋은 학교에 가야 논문을 권위 있게 봐 준다고 조언하는 중이라고 밝혔다.

좋은학교 가야 니 논문을 권위있게 생각해 줄거야 라고 조언하고 아무래도 지금은 공부를 해야하지 않겠니 하는데

이에 다른 참가자는 요즘은 좋은 학교보다 실적이 있으면 논문을 권위 있게 봐 줄 것 같다고 맞섰다. 다만 현실에서는 아직 좋은 학교 출신이 아니면 오프라인에서 끼워 주지 않는 면이 있다고 단서를 달았다. 같은 참가자는 결국 권위는 양질의 콘텐츠를 만드는 능력에서 나오며 사람과의 관계는 그 조건의 하나일 뿐이라고 정리했다.

이와 달리 또 다른 참가자는 권위에 인맥도 기여하는 것 같다고 보았고, 다음과 같이 말했다.

적어도 아직은 신뢰할 수 있는 인간 전문가가 필요해요. 그러므로 인간전문가가 있는 곳으로 가야죠

갈린 입장

정리하면 두 토픽에서 나온 입장은 하나로 모이지 않았다. 학교의 이름이 여전히 필요하다는 쪽, 실적과 콘텐츠 생산 능력이 권위를 만든다는 쪽, 아직은 사람 전문가와의 연결이 필요하다는 쪽이 각자 다른 근거를 댔다. 이 가운데 어느 쪽이 맞는지는 대화 안에서 가려지지 않았다.

다만 검증 병목을 말한 첫 토픽과 권위의 출처를 말한 둘째 토픽은 같은 질문의 두 면으로 읽힌다. 논문이 넘쳐난다는 진단 앞에서 읽는 쪽은 무엇을 믿을지 정해야 하고, 그 기준을 학교, 실적, 사람 가운데 어디에 둘지가 쟁점이 된 것으로 보인다.