벤치마크보다 시운전 — 새 코딩 에이전트를 판단하는 이 방의 기준

밤 11시 28분, 한 참가자가 조심스럽게 질문을 던졌다.

"여기 계신 AI 잘알 고수님들께 여쭤봅니다. 기존에 사용하시던 것과 다르게 새로운 코딩 AI 에이전트, 또는 툴을 사용하시게될때 가장 먼저 해보시는 작업이나, 프로젝트(비교 분석을 위한) 같은게 있을까요? 늦은 시간 실례가 되었다면 죄송합니다"

새로운 코딩 에이전트나 도구를 처음 접할 때 무엇부터 확인하느냐는 물음이었다. 여러 에이전트와 모델이 동시다발로 쏟아지는 이 방에서도, 정작 새 도구를 만났을 때 어떤 기준으로 판단해야 할지는 다들 저마다 다른 방식으로 익혀온 듯했다. 8분 뒤 답이 돌아왔는데, 정작 그 답은 벤치마크 수치에 회의적이었다. 에이전트 벤치마크는 숫자로 표현하기가 힘들다는 것이었다.

"에이전트 벤치란게 숫자로 표현이 힘들어서"

3분 뒤 같은 참가자는 대신 다른 비유를 꺼냈다. 새 에이전트를 판단하는 건 운전과 비슷해서, 시운전을 해보면 손에 착 감기는 때가 있고 정말 아닐 때도 있다는 것이었다.

"운전이랑 비슷한겁니다 시운전을 했는데 손에 착 감길때가 있고 정말 아닐수도 있고"

곧이어 실제 시운전 사례 하나가 소개됐다. 하이쿠(클로드 계열의 경량형 모델)를 써보고 있다는 참가자는 하이쿠가 영 아니라는 평을 남겼고, 뒤이어 다른 참가자는 번역도 제대로 못할 때가 많고 OCR(이미지 속 문자를 인식하는 기능)도 엉망이라고 덧붙였다.

"하이쿠 써보고있는데 하이쿠는 영 아니군요.."

"번역도 못할때가 많음 그놈은 ocr도 엉망이고"

늦은 밤 조심스럽게 시작된 이 질문은 결국 정량 지표보다 정성적인 체감을 신뢰한다는 쪽으로 결론이 모였다. 벤치마크 점수 하나로 새 도구의 가치를 판단하기보다, 실제로 몇 가지 작업을 시켜보며 손에 맞는지를 가늠하는 방식이 이 방에서 더 설득력을 얻는 모습이었다.

질문을 올린 참가자가 실례가 될까 조심스러워하며 물었던 것과 달리, 답은 곧바로 그리고 여러 갈래로 붙었다. 벤치마크의 한계를 짚는 답, 운전에 빗댄 비유, 그리고 실제 모델을 써본 구체적인 후기까지 짧은 시간 안에 층층이 쌓인 것이다. 늦은 밤 질문 하나에 이렇게 여러 사람이 각자의 경험을 보태며 대답했다는 것 자체가, 새 도구를 판단하는 감각이 개인의 노하우로만 머물지 않고 방 안에서 공유되는 자산으로 쌓여가고 있다는 걸 보여준다.

하이쿠에 대한 낮은 평가 역시 벤치마크 수치가 아니라 번역과 OCR이라는 구체적인 작업에서 나온 실사용 경험에서 비롯됐다는 점이, 이 커뮤니티가 도구를 고르는 방식을 잘 보여준다. 결국 새 에이전트를 판단하는 기준을 묻는 질문에 이 방이 내놓은 답은 정형화된 체크리스트가 아니라, 직접 몸으로 부딪혀본 사람들의 축적된 감이었다.