AKM 점수 릴레이 끝에 드러난 진짜 병목, '인간'

20일 새벽 더배러 채팅방에 올라온 링크 하나가 방 전체를 뒤흔들었다. 각자의 지식관리·에이전트 운용 체계를 스스로 채점해보는 자가평가 도구, AKM(에이전트 지식관리) 지수였다. 평가에 걸리는 시간을 두고 한 참여자는 한 시간 정도면 다른 작업도 해야 해서 끝까지 못 보겠다며 일찌감치 발을 뺐고, 다른 참여자는 보고서가 자동으로 나오는 게 아니라 평가 사이트에만 올라가는 방식인데도 점수까지 이미 나와 있는 걸 보고 의아해했다. 도구를 배포한 OO 교수님은 새로 방에 들어온 이들에게도 자신의 AKM 시스템을 직접 점검해보라고 권했다.

뒤이어 방 안에서는 저마다의 점수를 실시간으로 공유하는 릴레이가 이어졌다. 가장 먼저 결과를 내놓은 참여자는 "증거 수집과 채점을 마쳤습니다. 적대적 자기검증까지 반영해 총점 74.5, M3(오케스트레이션)로 산정됐습니다"라고 전했고, 이를 지켜본 다른 참여자는 자신이 예상했던 40점대보다 훨씬 높은 60점대가 나왔다며 머쓱해했다. 곧이어 같은 프로젝트를 코덱스와 클로드 코드 양쪽에 돌려본 참여자가 등장했다. 코덱스는 10분 만에 끝났지만 클로드 코드는 30분이 걸렸고, 결과는 58.0점에 M2 판정이었다. 이 참여자는 "손(검증) 마이 탑니다"라며 자동 채점 이후에도 사람 손이 많이 들어간다고 덧붙였다. 프로젝트 폴더 4개를 한꺼번에 돌려 63.75점을 받은 참여자도 있었고, 93.3점을 받은 참여자는 서울대 다니시는 분이 딸깍 시스템을 만들어주면 좋겠다며 너스레를 떨었다.

점수 릴레이 속에서 가장 많이 회자된 건 높낮이 자체가 아니라 그 이유였다. 한 참여자는 자신의 자가교정 엔진이 4점을 받은 반면 인간 쪽 루프는 0점이 나와 시스템 전체가 거기서 막힌다는 진단을 받았다고 전했다. 그는 "뼈때리네요, 인간이 병목이라니"라며 자조 섞인 반응을 내놓았다. 다른 참여자 역시 자신의 루프 항목은 19/20으로 만점에 가까웠지만, 맥락 관리가 라우팅과 grep(문자열 검색) 의존에 머물러 전체 맥락 점수는 25점 만점에 18.7점에 그쳤다고 밝혔다. 자동화 도구가 알아서 다 해주는 것처럼 보여도, 정작 병목은 도구가 아니라 그 결과를 검증하고 판단하는 사람 쪽에 있다는 이야기가 여러 참여자의 입에서 되풀이됐다.

하룻밤 사이 방 전체로 번진 이 점수 릴레이는 단순한 숫자 자랑이 아니라, 저마다 얼마나 다른 방식으로 에이전트를 굴리고 있는지를 서로 비추는 거울이 됐다. 같은 프로젝트도 어떤 도구로 돌리느냐에 따라 점수와 소요 시간이 갈렸고, 자동 채점 결과가 높게 나온 이들조차 검증 과정에서는 여전히 손이 많이 간다고 입을 모았다. 결국 이날 오간 결론은 하나로 모였다. 에이전트가 아무리 정교해져도, 마지막 확인과 판단을 떠맡는 자리에는 여전히 사람이 서 있다는 것이다.