고모델로 설계도만, 구현은 저가 모델로... 에르메스단서 토큰 절약 전략 갑론을박

에르메스단 채팅방에서 19일 저녁, 상위 모델로 기획서(plan.md)를 짜고 하위 모델에 실제 구현을 맡기는 작업 방식을 두고 논쟁이 붙었다. 한 참가자가 이렇게 역할을 나누면 결과물 품질이 떨어지지 않느냐는 의문을 던지면서다. 토큰 비용을 아끼려고 값싼 모델에 구현을 맡기는 사람이 늘어난 가운데, 정말 계획서 하나로 저가 모델의 한계를 메울 수 있는지가 도마에 올랐다.

곧바로 다른 참가자가 반박에 나섰다. 아무리 정교한 설계도라도 현실과는 어긋나기 마련이라는 지적이었다.

"너무 복잡하게 생각하시는 듯 하네요 플랜이 아무리 잘 짜이고 탄탄하다고 해도 이상화 현실은 다른법입니다요 설계도 대로 집이 지어지면 이세상에 하자보수가 없겟지요 ㅠ"

이어 또 다른 참가자는 실전 판별법을 공유했다. 낮은 모델이 문제를 제대로 짚지 못한 채 대화가 겉도는 느낌이 들 때만 모델 등급을 올려도 충분하다는 경험이었다.

"잘 몰라서 애들이 잘 못해도 뭐가 문젠지는 잘 모르는데 대화해보면 근본은 못잡고 겉돈다는 느낌이 들때 모델을 올려보면 확실히 잘잡더라고요"

이 발언에 처음 문제를 제기했던 참가자도 수긍하며 "그러면 토큰 아낄겸 낮은 모델로 플랜짜면 빠르고 싸고 좋네요"라고 화답했다. 뒤이어 다른 참가자는 이를 좀 더 구조화된 기준으로 다듬었다. "내가 느끼기에 일을 필요한것 이상으로 일을 복잡하게 한다면 노력치 내리시면되고 모델이 자신감을 뿜뿜하면허 할수있다하는데 결과물이 똥이면 노력치 올리면되고 모델이 똥만 만든다 상위모델로 가면됩니다"라는 설명이었다. 일의 난이도와 결과물의 품질 두 축을 계속 관찰하면서, 필요할 때만 단계적으로 모델 등급을 바꾸자는 취지다.

하지만 실제 적용기에서는 한계도 함께 드러났다. 처음 문제를 제기했던 참가자는 자신이 겪은 시행착오를 덧붙였다.

"플랜에 기술 스텍이 없는 상태니까 낮은 모델이 다시 생각하게 되고 그럼 산으로 갔다가 다시 높은 모델로 했다가 이걸 반복하게 된것 같네요."

기획 단계에서 기술 스택 같은 구체적인 조건이 빠지면, 계획서 자체는 상위 모델이 짰더라도 낮은 모델이 그 공백을 스스로 메우려다 방향을 잃고, 결국 사람이 다시 상위 모델을 불러 수습하는 과정이 반복된다는 뜻이다.

이날 오간 대화를 종합하면, 고모델 기획·저모델 구현 전략은 토큰을 아껴주는 만능 해법이라기보다 계획서의 구체성과 결과물에 대한 지속적인 모니터링이 뒷받침돼야 성립하는 협업 방식에 가깝다. 참가자들이 공통으로 짚은 기준은 결국 한 가지였다. 겉도는 신호가 보이면 주저 없이 모델 등급을 올리고, 신호가 없으면 굳이 비싼 모델을 쓰지 않는 것. 비용과 품질을 저울질하는 실무 감각이 정해진 공식보다 중요하다는 의미로 읽힌다.