하네스의 과설계와 과검증을 줄이는 조언들

어제 아침 아홉 시 무렵, 에이전트코리아에서 한 참가자가 조언을 구했다. 자기 코딩 하네스, 곧 AI가 코드를 짜는 일을 둘러싼 지침과 절차의 묶음을 올리는 중인데 난항이라는 이야기였다.

과설계와 과검증 경향이 너무 심해서 토큰 낭비 시간 낭비가 엄청납니다

이 참가자가 든 사례는 구체적이었다. 설치 스크립트를 제멋대로 만들어 여러 검증을 거치게 하고, 설계 문서에 필요 없는 스크립트 설계까지 넣고, 작업계획서에 없던 결함을 발견하면 AI가 임의로 관문을 도입한다는 것이다.

워크트리에서 워크스페이스로 설치할 때 뭔 5가지 검증을 거쳐야 하는 설치용 스크립트를 지멋대로 만들고

여기서 워크트리는 한 저장소의 작업 사본을 따로 두는 기능으로 읽힌다는 것이 기사의 설명이다.

두세 시간이면 끝날 볼륨의 task가 하루 넘게 걸릴 정도로 비효율이나 병목이 심합니다

세션과 지침을 짧게 쪼개자는 답

가장 먼저 답한 참가자는 자기 방식을 소개했다. 검증에 제한을 두고, 세션이 길어지면 비슷한 일이 많이 생겨서 한 세션에서 작업을 네 번 이상 하지 않는다는 것이다.

세션내에서 4번 이상의 작업을 하지않구여

리뷰는 항상 별도세션에서 하구있구여

같은 참가자는 지침 문서의 길이도 짚었다. 지침이 길어져도 일이 많이 꼬이더라는 경험이었고, 문서 하나가 4000자를 넘기지 않게 하고 지침은 별도 문서로 쪼개자고 했다.

오히려 지침이 길어져도 문제 많이 생기더라구여

질문한 참가자는 이미 검토, 검증, 리뷰에 제한을 다 둔 상태라고 답했고, 지침 문서에는 5천 자 제한을 걸고 더 필요한 부분은 상황별로 연결되게 해 놨다고 했다.

5천자 제한 걸고 더 적어야 하는 부분은 상황 별로 라우팅하게 해놨습니다!

변경 단위로 검토하자는 답과 게이트의 비용

다른 참가자는 배포 자동화(CI/CD)를 관리하는 방식을 빗대어 쓰자고 했다.

변화가 생기면 변화가 생기는 부분들만 먼저 검토하고 주기적으로 버저닝, 릴리즈를 하면서 그때 통합테스트를 가는식으로

이 참가자는 자기 경험도 한마디 보탰다. 지침만으로는 잘 안 돼서 강제 게이트를 여러 개 두었더니, 곧이어 토큰을 많이 먹는 것은 당연한 이치라고 덧붙였다.

지침으로 하니까 잘 안되서 강제게이트를 빡세게 여러개 두었더니

기본 하네스에 레이어를 얹자는 답

세 번째 참가자는 기존 하네스를 걷어내기보다 필수 요소와 마일스톤을 정하고, 기본 하네스로 돌려 본 뒤 레이어를 하나씩 얹으라고 했다.

기존에서 필수적인것들과 마일스톤정해서 default 하네스로 돌려보고 거기에 하나씩 레이어를 추가하는

이 참가자는 하위 에이전트(subagent) 이야기도 꺼냈다. 하위 에이전트를 띄우면 빨라질 것 같지만 그렇지 않은 경우가 많다는 것이다.

단순히 subagent 로 spawn하면 빨라지겠지? 라고 생각하기 쉬운데 비용만 더 늘어나고 시간만 더걸리는 경우도 많아요

질문한 참가자는 자기 쪽 설정을 밝혔다. 하위 에이전트는 단순 작업에만 쓰고 작업을 너무 쪼개지 않게 만들었다는 것이다. 이 말 바로 뒤에 세 번째 참가자는 그럴듯해 보이는데 안 된다면 구조의 한계일 수도 있다고 했다.

질문한 참가자는 곧이어 그 직후부터 문제가 터졌다며 자기 짐작을 덧붙였다.

근데 그 직후부터 과설계 과검증 문제가 터지는 거 봐서는 흠 고지능 AI를 많이 써서 그런가 싶기도 하고

이는 질문자 본인의 짐작이며 다른 참가자가 확인해 주지는 않았다.

남은 것

질문한 참가자는 하네스 없이 순정 작업 공간에서 기획부터 해 볼까 물었고, 세 번째 참가자는 그것도 방법이라고 했다. 아침 아홉 시 반 넘어 질문한 참가자는 조언을 바탕으로 다시 브레인스토밍하겠다고 인사했다.

다들 조언 감사합니다 주신 거 기반으로 다시 브레인스토밍해봐야겠네요

이 대화에서 원인이 확정된 것은 없다. 답은 한 세션에서 할 일과 리뷰를 나누는 쪽, 지침 문서를 짧게 쪼개는 쪽, 변경분만 먼저 검토하는 쪽, 기존 하네스를 걷어내기보다 기본 하네스에 레이어를 하나씩 얹는 쪽으로 갈렸다. 강제 게이트는 한 참가자가 겪은 비용 경험으로 나왔을 뿐 줄이라는 조언은 아니었고, 어느 것이 효과를 냈는지는 이 창 안에서 나오지 않았다.