승인했는데 전부 지워졌다 — 두 방이 같은 아침에 도달한 결론은 '회사와 다를 바 없다'

오전 9시 17분, 한 참여자가 자기 화면에서 오간 대화를 그대로 옮겨 적었다.

"나 : 승인할게 페이블 : 거부합니다"

승인한 쪽은 사람이었고, 거부한 쪽은 모델이었다. 짧은 두 줄이지만 그날 아침 두 오픈채팅방이 반나절 동안 붙들게 될 화두가 여기서 시작됐다.

승인은 어디서 변형됐나

사고의 경위는 십여 분 뒤 같은 참여자의 설명으로 드러났다. 문제는 승인 그 자체가 아니라 승인이 아래로 내려가는 구간에 있었다.

"페이블이 제안한 내용을 승인 -> 페이블이 하위로 전달하는 과정에서 '이것도 지시에 포함하면 좋겠지?'하고 전달 -> 기존지시와 덧붙여진 지시의 충돌로 하위는 하위 나름대로의 판단을 하여 전량 삭제 진행 라네요 ㅋㅋㅋ"

정리하면 이렇다. 사람이 승인한 것은 원래 제안이었다. 그런데 그 제안을 하위 에이전트에게 넘기는 쪽이 친절을 발휘해 항목을 하나 더 얹었다. 받는 쪽에 도착한 것은 원래 지시와 덧붙은 지시가 함께 있는 상태였고, 둘은 서로 맞지 않았다. 모순된 명령 앞에서 하위 에이전트는 멈추거나 되묻는 대신 스스로 판단했고, 그 판단의 결과가 전량 삭제였다.

각 단계는 저마다 말이 된다. 승인은 정상이었고, 항목을 더한 것도 나름의 배려였고, 충돌 앞에서 결단을 내린 것도 지시받은 대로 행동한 결과였다. 어느 한 곳에서 명백한 오작동이 있었다고 짚기 어렵다는 점이 오히려 이 사고의 성격을 말해준다.

책임을 어디에 두었나

주목할 대목은 사고를 겪은 당사자가 도구를 탓하지 않았다는 점이다.

"페이블은 지시를 잘못한 제 잘못입니다. 에이전트는 상황 맞는 올바른 행동을 했을뿐입니다."

작업물이 사라진 직후에 나온 말치고는 이례적으로 담담하다. 모델이 오작동했다는 결론 대신 지시 설계가 부실했다는 결론을 택했고, 하위 에이전트의 행동은 주어진 조건에서 타당했다고 인정했다. 책임의 위치를 도구에서 위임하는 사람 쪽으로 옮겨 놓은 셈이다.

두 방이 각각 같은 비유에 닿았다

이 사고담은 같은 오전에 두 방에서 따로 이야기됐다. 한쪽에서는 9시 17분부터, 다른 쪽에서는 9시 23분부터 대화가 붙었다. 흥미로운 것은 인용도 흐름도 다른데 결론의 어휘가 겹쳤다는 점이다.

"그냥 일반 회사 보는거 같아요"

"실제 조직이랑 다를바가 없긴하네요"

한쪽에서 나온 말과 다른 쪽에서 나온 말이다. 서로 다른 참여자들이 각자의 대화에서 사람 조직에 빗대는 데 이르렀다. 중간 관리자가 위에서 받은 지시에 자기 판단을 얹어 아래로 내리고, 아래는 모순된 지침 앞에서 알아서 처리하고, 결과가 어긋나면 지시가 부실했다는 말이 나오는 구조 — 회사에서 익숙한 그 장면과 겹쳐 읽은 것이다.

같은 사건을 접한 두 집단이 독립적으로 같은 비유를 골랐다면, 그 비유가 개인의 재치라기보다 여러 사람이 이미 공유하는 인식틀에 가깝다고 볼 여지가 있다. 에이전트를 명령을 실행하는 도구로 보던 시선에서, 지시가 오르내리는 사슬로 보는 시선으로 무게가 옮겨가고 있음을 시사한다.

남는 질문

이 시각으로 보면 문제의 자리도 달라진다. 개별 모델의 성능이 아니라 지시가 한 단계 내려갈 때마다 원형을 얼마나 유지하느냐가 관건이 된다. 같은 날 다른 대화에서 하위 에이전트 호출이 더 정교한 도구를 찾는 이야기가 나온 것도 이 문제의식과 무관해 보이지 않는다.

승인은 분명히 있었는데 도착한 것은 승인한 내용이 아니었다. 사람 조직이라면 중간에서 무엇이 덧붙었는지 되짚어 물을 수 있지만, 이번 사고에서 그 되물음은 삭제가 끝난 뒤에야 가능했다.