스킬 덜어내기와 모델 선택을 둘러싼 두 방의 논의

토요일 하루 동안 두 방에서 같은 고민이 따로 올라왔다. 스킬과 프롬프트, 하네스(모델을 둘러싼 도구·규칙·프롬프트의 묶음 정도로 쓰이는 말)를 얼마나 쌓아야 하는가, 그리고 시스템을 짓는 데 어떤 모델을 쓸 것인가였다. 에르메스단에서는 낮부터 밤까지, 에이전트코리아에서는 밤 중심으로 이어진 이야기다.

에르메스단, 스킬을 걷어낸 한 주

토요일 오전 10시 33분 한 참가자가 아스트라 프론트가 별로라며 추천할 만한 스킬을 물었다. 다른 참가자는 외부 스킬로는 해결이 안 되고 디자인 PRD(제품 요구사항 문서)를 직접 세팅해 넣는 수밖에 없다며, 지침이 있어야 그나마 본전이라고 답했다. 이어 한 참가자는 아스트라가 처음 나왔을 때는 극찬이었는데 오푸스가 나오고는 쓰기 어렵다고 했다.

낮 12시 8분에는 방향이 스킬 자체로 옮겨 갔다. 한 참가자가 스킬이 오히려 창의성에 족쇄라고 하자, 다른 참가자는 이번 주 쓰던 스킬을 모두 없앴더니 오푸스 5.5가 확실히 더 잘한다고 전했다. 또 다른 참가자는 워크스페이스째 하네스를 전면 재구축 중이라고 말했다.

오히려 스킬이 창의성에 족쇄입니다

밤 10시 52분에는 오푸스 5.5의 추론 레벨을 어디에 두면 좋은지 묻는 질문이 나왔고, 한 참가자는 high와 max를 섞어 쓴다고 답했다. 11시 13분 다른 참가자는 아스트라가 디자인은 잘하지만 코딩은 오푸스에 못 미친다는 체감이라고 덧붙였다. 모델 평가는 모두 참가자 개인의 체감이며, 비교 실험의 결과가 공유되지는 않았다.

에이전트코리아, 막히면 옮기고 다시 짓는다

토요일 밤 10시 29분 한 참가자가 아스트라가 막힌 작업에서 헤매는 것 같다며 페이블로 가져갈지 고민했다. 10시 50분 다른 참가자는 코딩이나 시스템 세팅에는 아스트라까지 안 써도 sol 6.1로 충분하다고 느낀다고 했다. 10시 56분 처음 고민을 꺼낸 참가자는 남은 사용량을 보고 오푸스로 가져가며 아예 리팩토링하겠다고 했고, 11시 8분에는 오푸스와 페이블로 가겠다며 자신의 경험으로는 클로드 쪽이 더 낫다고 덧붙였다.

같은 11시 8분 한 참가자는 오푸스5.5와 솔6.1을 같이 쓰는 것이 가성비라고 했고, 다른 참가자는 지금은 opus 5.5가 다 이긴다고 했으며, 앞의 참가자는 아스트라가 토큰을 너무 많이 먹는다고 덧붙였다. 아스트라·솔·sol 6.1 은 참가자들이 쓴 표기 그대로이며, 대화에서 이들의 정체가 설명되지는 않았다.

밤 11시 12분에는 다른 참가자가 개발자들 사이에 도는 농담이라며 한마디를 건넸다. 결정이 아니라 우스개로 나온 말이다.

최고의 리팩토링은 처음부터 다시 만드는것

11시 19분에는 프롬프트를 짜는 데만 1시간씩 쓰고 있다는 말이 나왔고, 다른 참가자는 시스템 프롬프트에 5일을 쓴 것이 최고 기록이라고 했다. 앞서 밤 9시 17분 한 참가자는 일 하나를 끝내 보려고 시험과 시스템을 만드는 데 며칠째 매달리고 있다고 했다. 일요일 새벽 0시 8분에는 또 다른 참가자가 이미 됐던 것을 처음부터 다시 만들기보다 두 작업공간에서 달라진 점부터 보라고 조언했고, 처음 고민한 참가자는 이어 그러네요라고 답했다. 일요일 새벽 0시 54분 하네스의 범위를 묻는 말에 한 참가자는 사람마다 답이 제각각이라고 했고, 다른 참가자는 프롬프트조차 하네스로 본다고 했으며, 또 다른 참가자는 모델 API를 뺀 나머지를 모두 하네스라고 부른다고 했다.

두 방을 나란히 놓으면

겹치는 지점은 덜어내거나 다시 짓는 이야기를 꺼낸 참가자가 양쪽에 있었다는 데까지다. 에르메스단에서는 스킬을 걷어내거나 하네스를 재구축한 경험이 한두 명에게서 나왔고, 에이전트코리아에서는 한 참가자가 모델을 바꿔 설계를 단순화해 다시 짓겠다고 했다가 기존 작업부터 점검하라는 조언에 수긍했다. 에르메스단에서도 지침이 있어야 본전이라는 반대 결의 말이 나와, 양쪽이 같은 결론에 닿았다고 보기는 어렵다.

차이는 무엇을 기준으로 고르는가에 있었다. 에르메스단은 스킬 유무와 추론 레벨처럼 모델에 얹는 설정이 논점이었고, 에이전트코리아는 남은 사용량, 가성비, 토큰 소모처럼 비용과 한도가 모델 선택에 직접 걸려 있었다. 같은 날 두 방이 같은 주제를 따로 꺼낸 것은 모델 선택과 기존 하네스의 구성을 다시 살피는 일이 일부 참가자에게 과제로 떠올랐음을 시사한다. 다만 어느 구성이 실제로 더 나은지는 이 대화만으로 확인되지 않는다.