클로드 자격증 시험 후기와 규칙·테스트 우선론

오전 11시대에 더배러 방에서 클로드 관련 자격증 시험(CCAF) 이야기가 시작됐다. 이 화제에는 5명이 참여해 48건의 글이 오갔고, 시험 후기에서 출발해 AI에게 일을 시키는 방식 전반으로 번졌다.

자세한 지시가 발목을 잡는다

첫 글을 올린 참여자는 자격증을 공부하다 알게 된 점을 전했다.

클로드 자격증 CCAF 공부하면서 알게된건데요, “1. 이 액셀데이터에서 2. 이 JSON SCHEMA파일을 읽거 3. 여기 여기에 입력해라“ 라고 정확하게 자세히 설명하는게 역으로 발목을 잡는 시리즈의 예시가 굉장히 많이 나오더라고요.

절차를 하나하나 정확하게 적어 주는 것이 좋은 프롬프트라고 여기기 쉽지만, 시험에서는 그 방식이 오히려 문제를 일으키는 사례가 많이 다뤄졌다는 이야기다. 같은 참여자는 한 응시자의 후기로, 출제 경향에 대한 개인 소감도 남겼다.

테스트 스크립트라는 보조 장치

또 다른 참여자는 방향을 바꿔, 프롬프트 엔지니어링과 함께 답이 명확하게 나올 수 있는 테스트 스크립트 인프라를 관리하면 효과가 좋다고 말했다.

프롬프트 엔지니어링과 함께 답이 명확하게 나올 수 있는 테스트 스크립트 인프라를 관리하면 효과가 좋습니다.

그 이유로 AI가 확률적으로 응답하고 결정하기 때문에, 결정에 보조 수단이 있으면 판단력이 많이 좋아진다는 점을 들었다. 한 참여자는 엔지니어링 정책서에 내용을 넣고 E2E(처음부터 끝까지 이어 보는 검증)로 끝까지 검증하게 했다고 전했다. 지시를 더 길게 쓰는 대신 검증 장치를 따로 두자는 쪽으로 이야기가 모인 셈이다.

모의고사와 실제 시험

시험 결과도 공개됐다. 첫 글을 올린 참여자는 모의고사를 두 번 풀어 보고 시험을 봤고, 모의고사는 700점대였지만 실제 시험은 불합격이었다고 밝혔다. 모의고사와 실제 시험의 점수 차는 컸고, 원인은 대화에서 분석되지 않았다.

규칙과 테스트를 먼저 깐다

같은 시각대에 다른 참여자가 자신의 개발 순서를 소개했다.

온톨로지 구축 -> 규칙 원장 구축 -> 테스트 구축 -> 뮤테이션 테스트 및 구현

구현에 앞서 개념 구조를 세우고, 규칙을 기록한 뒤, 테스트를 만들고, 그 테스트가 제대로 걸러내는지까지 확인한 다음 구현에 들어간다는 순서다. 이 순서는 한 참여자의 방식이어서 일반 원칙으로 확정된 것은 아니다.

해석

이 대화가 시사하는 바는 프롬프트를 정교하게 쓰는 일과 결과를 검증하는 일을 별개의 작업으로 보는 시각이다. 자격증 시험의 경험담과 현업의 개발 순서가 한 화제 안에서 같은 방향을 가리켰다는 점이 눈에 띈다.

다만 이는 5명이 참여한 대화이며, 시험 내용 전체나 만점·합격선은 언급되지 않았다. 따라서 이날 확인된 것은 시험의 공식 정보가 아니라 한 응시자의 후기와 참여자들의 작업 습관이다.