AI 검토를 거듭하면 일이 줄어드는가

21일 오전, 공공AX 네트워크에서는 화제가 AI 챔피언 인증(그린·블루 등급 시험) 축하에서 일 이야기로 넘어가고 있었다. 한 참가자가 이렇게 말했다.

곧 두번세번 일하게 하는 대 워크슬롭 시대가 오겠다

워크슬롭이라는 말을 대화 안에서 따로 풀어 주지는 않았다. 앞뒤 문장으로 보면 AI가 만든 결과 때문에 사람이 두 번 세 번 손을 대야 하는 상황을 가리키는 것으로 읽힌다. 그 이상의 정의는 이 대화에서 확인되지 않았다. 이 토픽에는 열두 명이 55건의 발화를 남겼다.

검토를 거듭하면 줄어들 것이라는 기대

바로 다른 참가자가 반론처럼 말을 받았다. 에이전트, 곧 스스로 여러 단계를 이어서 처리하는 AI 도구가 퍼지면 슬롭 자체가 줄지 않겠느냐는 것이었다. 이 참가자는 뒤이어 검토를 반복시키는 방식을 근거로 들었다.

AI 모델별로 검토에 검토를 계속 반복시키면 그만큼 문제가 줄수밖에 없지 않나..

같은 참가자는 AI끼리 일하는 일이 이미 많은데 아직 대중화되지 않아 나타나는 일시적 현상이 아니냐는 생각도 덧붙였다. 이것은 추측이다. 실제로 검토를 반복시켜 본 결과를 말한 것이 아니라 그렇게 하면 줄 것이라는 전망이었다.

이 흐름에 다른 참가자들이 장면을 보탰다. 한 참가자는 사람과 AI가 보고서를 주고받는 모습을 그렸다.

AI끼리 일하게 될듯요 (AI써서) 보고드립니다. 검토 부탁드립니다. (AI에게) 야 이거 검토해봐

사람이 해도 어차피 두 번 세 번 하지 않느냐는 반문도 나왔다. 이 반문을 한 참가자는 잠시 뒤 검토 쪽에서의 쓸모를 경험으로 말했다.

AI들은 창작보다는 검토에 특히 쓸모있어서 피드백 패턴 잘 모아두면 엄청 쓸모있어지더라구요

오전에 나온 검토 이야기는 이렇게 기대와 경험이 섞여 있었다. 워크슬롭 이야기를 꺼낸 참가자 자신도 먼저 두드려 맞아 보자는 취지로 검사 봇을 만들었다고 했다. 그 말은 이랬다.

먼저 두드려맞자 검사봇 만들었는데

이어서 쓸 만하다고 평했다. 이 평가는 그 참가자 한 사람의 체감이다.

한 시간 뒤, 밤새 돌린 상호 검토

한 시간쯤 뒤에는 다른 참가자가 완전히 다른 층위의 이야기를 꺼냈다. 앞서 나온 전망이 아니라 간밤에 직접 돌려 둔 작업의 결과였다. 자기가 만든 문서를 fable과 opus에게 독립적으로 리뷰하게 하고 서로 검토하라고 했다는 말이었다.

밤새 시간만 쓰고 놀고 있는거 같은데..

대화에서 fable과 opus로 불린 두 모델에게 독립적으로 리뷰하게 한 뒤 서로의 검토를 다시 검토하게 시킨 것으로 읽힌다. 이 참가자의 말은 결과가 좋아졌다거나 나빠졌다는 판정이 아니라, 밤새 쓴 시간에 비해 한 일이 보이지 않는다는 인상이었다. 다른 참가자가 농담을 보탰다. 생각하는 과정을 열어 보면 사용자가 자는 사이 지구 정복 방법이나 찾고 있을지도 모른다는 것이었다. 농담이라서 사실로 읽을 대목은 아니다.

그다음에 또 다른 참가자가 자기 경험을 짧게 적었다. 검토 지침이 가끔 그렇다고 한 뒤 이렇게 이었다.

단점을 찾아서 고치면 새로은 단점 나오고

이 참가자는 이어서 완료 조건이 나은 듯하다고 했다. 검토 지침보다 작업이 끝났다고 볼 기준을 정해 두는 편이 낫다는 뜻으로 읽히지만, 무엇의 완료 조건인지는 발화만으로 확정되지 않는다.

두 이야기를 이어 붙이지 않기

오전 초반의 낙관과 뒤이어 나온 푸념은 서로 다른 참가자의 서로 다른 말이다. 검토를 반복시키면 문제가 줄 것이라고 한 참가자는 상호 검토를 밤새 돌려 본 이야기를 하지 않았다. 밤새 돌렸다는 참가자는 그 낙관에 답하지 않았다. 단점이 계속 나온다고 말한 것도 밤새 돌린 참가자 본인이 아니라 별개의 참가자였다. 그래서 이 대화로 검토 반복이 문제를 줄이는지 늘리는지를 가릴 수는 없다.

보이는 것은 두 가지다. 하나는 AI를 검토자로 쓰는 일이 이 방에서 이미 실제 쓰임으로 이야기된다는 점이다. 검토용 봇을 만들었다는 참가자가 있었고, 피드백 패턴을 모아 두면 쓸모가 크다는 참가자도 있었다. 다른 하나는 밤새 돌린 검토가 시간만 쓴 것 같다는 푸념과 고칠수록 새 단점이 나온다는 경험담이 같은 방에서 한 시간쯤 뒤에 나왔다는 점이다. 워크슬롭 우려가 검토 반복으로 풀릴지 오히려 검토 자체가 새 일거리가 될지는, 이 대화가 열어 둔 채로 남긴 질문이다.