AKM 70점대 벽 앞에서, 제미나이는 '잡일'로 재발견됐다

저녁 6시 48분, 한 참여자가 며칠간의 사투 끝에 얻은 성과를 방에 풀었다. "이틀 넘게 에이전트 붙잡아서 간신히 akm 70점대로 올려놨네요"라는 말에는 안도와 아쉬움이 함께 묻어 있었다. 곧바로 "akm 80점대이신분들은 어떻게 그렇게 잘 만드신거죠 ㄷㄷ"라는 물음이 이어지며, 자신이 도달한 지점 너머의 노하우를 궁금해했다. 이틀을 꼬박 매달려 겨우 도달한 점수대 위로 또 다른 벽이 있다는 걸 스스로 인정한 셈이었고, 이 물음에 다른 참여자도 자신도 다시 도전해보겠다는 뜻을 짧게 내비쳤다.

AKM은 에이전트의 지식관리 완성도를 점수로 매기는 자체 평가 지표로, 이날 방에서는 70점대와 80점대 사이의 간극이 화두가 됐다. 몇 시간 뒤 같은 참여자는 대화를 이어가며 다른 실험 하나를 더 꺼냈다. 코딩 작업 대신 제미나이에게 LLM 위키 문서정리를 맡겼더니 오히려 결과가 좋았다는 것이었다. "그와중에 gemini도 코딩 대신에 llm wiki 문서정리 시키니까 성능 좋네요 잡일 전용으로 ㅋㅋ"라는 말에, 다른 참여자가 곧바로 아이러니를 짚었다. "gemini 3.7이 코딩 에이전트로 훌륭하다고 구글이 엄청 홍보하던데, 구글이 이번에도 갈피를 잘못 잡았군요 ㅋㅋ"라는 반응이었다. 코딩 성능을 앞세운 모델이 오히려 잡무에서 더 요긴하게 쓰인다는 발견이, 웃음 섞인 농담 안에 담겨 오갔다.

이 짧은 주고받음은 AI 도구의 공식 홍보 포지션과 실사용자의 실제 체감 용도가 어긋날 수 있다는 걸 시사한다. 구글이 제미나이 3.7을 코딩 에이전트로 앞세워도, 정작 커뮤니티 안에서는 위키 정리 같은 부수적 작업에서 더 만족스러운 결과를 얻었다는 경험이 나온 셈이다. AKM 70점대에서 막혔다는 고백 역시, 점수를 끌어올리는 과정이 도구를 붙잡고 반복 조정하는 시간 싸움에 가깝다는 걸 보여준다. 정량화된 점수 앞에서 참여자들이 서로의 구성 노하우를 궁금해하는 모습은, 지식관리 에이전트를 잘 만드는 일이 이제 개인기가 아니라 비교하고 배울 수 있는 대상으로 자리 잡았다는 뜻이기도 하다.

에이전트를 스스로 평가하고 점수로 비교하는 문화가 방 안에 자리 잡으면서, 참여자들은 단일 도구의 만능성을 기대하기보다 용도별로 도구를 재배치하는 실험을 이어가고 있는 것으로 보인다. 코딩에 특화됐다고 홍보된 모델이 문서정리 '잡일'에서 더 빛을 발하는 사례가 쌓일수록, 도구 선택의 기준도 제조사의 마케팅보다 커뮤니티 내부의 교차 검증된 경험치로 옮겨갈 가능성이 크다. 70점대와 80점대를 가르는 기준을 서로 묻고 답하는 문화가 이어진다면, AKM 같은 자체 채점 지표가 개인 자동화 품질을 가늠하는 공통 언어로 굳어질 여지도 있어 보인다.