스킬·플러그인 대량 테스트의 설계 순서

밤 8시 48분, 에이전트코리아에서 한 참가자가 짧게 물었다. 스킬이나 플러그인을 퍼블릭으로 내놓기 전에 매시브 테스트(대량 반복 테스트)를 어떻게 하느냐는 질문이었다. 이 화제는 단 두 명이 116건을 주고받은 가장 밀도 높은 대화 중 하나였다.

매시브 테스트 어떻게하세영

질문자는 곧바로 도구 이름 하나를 덧붙였다.

claude plugin eval?

호출형인지 자동 발동형인지

답한 참가자는 테스트 방법을 말하기 전에 질문부터 되돌려 주었다. 이 스킬을 사용자가 직접 불러 쓰게 할 것인지, 아니면 자동으로 발동하게 할 것인지부터 정하라는 것이다.

1.유저들이 콜링해서 쓰게할꺼냐 2.자동발동하게 할꺼냐

두 방식은 실패하는 모양이 다르다. 대화에 직접 나온 설명은 아니나, 호출형은 호출됐을 때 결과가 틀릴 수 있고 자동 발동형은 불러야 할 때 안 불리거나 부르지 말아야 할 때 불릴 수도 있다고 풀이할 수 있다. 어느 쪽인지에 따라 테스트가 겨냥할 대상이 갈린다는 점을 이 첫 질문이 짚은 것으로 읽힌다.

양치기식 반복과 케이스 나누기

방법론은 단순했다. 답한 참가자는 이른바 양치기식(무작정 많이 돌리는 방식)으로 수천 번 돌려 엣지 케이스를 찾는 방식을 선호한다고 했다.

저는걍 양치기 선호 ㅇㅇ

다만 무작정 많이 돌리라는 말은 아니었다. NP 케이스를 초기에 잘 나누어 두라는 조언이 함께 붙었다. 여기서 NP 케이스라는 표현이 정확히 무엇을 가리키는지는 대화에서 풀어 설명되지 않았다. 반복 횟수를 늘리는 일과 어떤 입력 유형을 먼저 가를지 정하는 일이 짝을 이룬다고 이해하는 편이 안전하다.

스코프를 줄이라는 결론

결론은 범용을 노리지 말라는 것이었다.

스코프를줄여야함

스코프를 줄이고 케이스별로 하나씩 완성해 가라는 조언이다. 모든 상황을 한 번에 덮는 스킬을 목표로 하면 테스트할 조합이 폭발하고 어디서 실패했는지도 가리기 어려워진다는 의미로 읽힌다.

질문자가 던진 claude plugin eval이라는 이름에는 직접적인 답이 달리지 않았다. 도구 이름보다 방법의 순서를 먼저 정리해 주는 답이 돌아왔다는 점이 이 대화의 특징이다.

읽을 거리

이 대화는 대량 테스트를 도구나 횟수의 문제가 아니라 설계 순서의 문제로 다뤘다는 점에서 눈에 띈다. 먼저 쓰임새를 정하고, 케이스를 나누고, 그다음에 반복 실행으로 빈틈을 찾는 순서다. 스킬 배포가 늘어나는 시기일수록 만드는 사람이 출시 전에 스스로 던져야 할 질문이 무엇인지를 보여 준다.

다만 이 조언은 한 참가자의 선호와 경험에 기댄 것이다. 수천 번이라는 숫자도 어림이고, claude plugin eval 같은 기성 도구가 실제로 어떤 도움이 되는지는 대화에서 확인되지 않았다.