형식은 잡혀도 공개 범위 판단은 남는 AI 보고서

17일 토요일 오후, 더배러에 오푸스 5.5로 보고서를 쓰다 부들부들하다는 한 줄이 올라왔다. 세 시간쯤 뒤인 저녁에는 에이전트코리아에서 같은 참가자가 같은 어려움을 문체가 아니라 내용의 문제라는 말로 다시 꺼냈다. 이 주제의 대화는 더배러에서 참여자 2명 8건, 에이전트코리아에서 참여자 6명 265건이었다. 한 참가자의 토로가 두 방에 걸쳐 나왔고, 처방은 에이전트코리아에서 다른 참가자들 사이에 오갔다.

템플릿을 다 넣어도 남은 것

더배러에서 한 참가자는 보고서를 쓰다 차라리 직접 쓰는 게 빠르겠다고 토로했다. 스킬(AI에게 작업 방식을 미리 일러 두는 설정)을 만들고 형식 템플릿을 넣어 두면 덜하더라는 조언이 돌아오자, 그는 이미 거기까지 다 해 봤다고 답했다. 윤문(글을 매끄럽게 다듬는 일)의 규칙도 넣었다는 것이다.

템플릿에 기존 글 샘플주고 스킬에 윤문규칙이랑 훅까지 다 넣어줬더니

결과물의 문제는 문장이 아니었다. 겉으로는 양식에 맞게 그럴듯하게 쓰여 있지만 자세히 읽으면 그 내용이 아니라는 것이다. 그는 보고서에 넣어야 할 내용과 그렇지 않은 내용을 AI가 구분하지 못한다고 정리했다.

읽어보면 보고서에 넣어야할내용과 그렇지않은내용을 구분을 못해요 …

받는 쪽마다 달라지는 선

에이전트코리아에서 같은 참가자는 같은 지점을 다른 말로 설명했다. 문체가 아니라 내용의 문제이고, 보고서마다 내부용과 외부용을 가르는 기준이 달라 표준화해서 뭘 주기가 어렵다는 것이다.

내부에서만 다뤄져야할 내용과 외부로 보내는 내용 식별이 잘 안되는데

이 참가자는 17분쯤 뒤 선이 한 겹이 아님을 보여 줬다. 내부 검토용 자료, 수주받은 곳에서 볼 자료, 시에서 볼 자료, 의원에게 보낼 수준, 최종 공개할 수준으로 받는 쪽마다 넣을 자료가 달라진다는 것이다. 그보다 앞서 다른 참가자는 내부에서만 다뤄야 하는 내용을 명확하고 구체적인 조건으로 정해 훅(정해진 시점에 자동으로 규칙을 걸어 두는 장치)으로 걸어 두라고 권했다.

명확하고 구체적인 조건 설정하시고 훅 걸어버리시죠

이 조언이 실제로 공개 범위 판단을 풀어 주었는지는 이 대화에서 확인되지 않는다.

처방은 모델이 아니라 흐름 쪽

질문한 참가자가 이 과정을 학습시켜야 하느냐고 묻자 돌아온 조언은 학습이 아니라 워크플로우화(작업 단계를 흐름으로 나누어 설계하는 일)였다. 한 참가자는 이미 완성된 문서를 거꾸로 뜯어 흐름을 설계하는 길을 권했고, 데이터를 쌓아 골든셋(정답 기준으로 삼는 표본 모음)을 만들자는 말도 이어졌다.

그리고 완성된문서를 역 추출해서 워크플로우설계하시는걸

조언한 쪽의 논리는 이렇게 읽힌다. 무엇을 넣고 뺄지가 독자마다 다르다면 그 기준을 모델에 한꺼번에 가르치기보다, 사람이 이미 내린 판단의 흔적에서 단계를 뽑아내고 단계마다 표본을 쌓자는 것이다. 질문한 참가자는 당장은 그렇게까지 가기 어렵다는 쪽이었다.

그래서 지금 그냥 최종단계는 손으로 해야겠다로 결론내버린 ...

한 사람의 어려움이 두 방에서 이어진 자리

템플릿과 샘플은 글의 모양을, 윤문 규칙은 글의 결을, 훅은 작업의 순서를 잡아 주는 것으로 보인다. 그러나 보고서에 무엇을 싣고 무엇을 뺄지는 받는 사람과 공개 수위에 따라 달라지는 판단이어서, 형식 장치만으로는 채워지지 않는 자리가 남는다는 점을 시사한다.

짚어 둘 점은 이 이야기가 두 방에서 따로 모인 사례가 아니라는 것이다. 더배러의 토로와 에이전트코리아의 설명은 한 참가자가 같은 어려움을 두 곳에서 말한 것이고, 처방이 길게 오간 쪽이 에이전트코리아였을 뿐이다. 역추출과 골든셋이 실제로 공개 범위 판단을 줄여 주는지도 이 대화 안에서는 확인되지 않는다. 다만 최종 단계를 손으로 하기로 한 결론은, 판단이 남는 구간을 사람이 맡는 현실적인 분업으로도 읽힌다.

정리

한 참가자가 더배러와 에이전트코리아 양쪽에서 같은 어려움을 말했다. AI는 양식과 문체를 맞출 수 있어도 보고서에 넣을 내용과 뺄 내용, 곧 공개 범위를 스스로 가르기는 어렵다는 경험이다. 에이전트코리아에서 나온 처방은 훅으로 조건을 거는 길, 그리고 모델을 더 학습시키기보다 완성 문서를 역추출해 워크플로우로 설계하고 골든셋을 쌓는 길이었다. 그 사이 당장의 선택은 최종 단계를 사람이 맡는 쪽이었고, 처방의 효과는 후기가 쌓여야 가려질 것이다.