페이블 자리에 아스트라를 앉힐까 — 오케스트레이션 라우팅 재설계

오전 11시 53분, 성능 후기가 오가던 흐름을 끊고 배치에 관한 질문이 올라왔다. 설계는 클로드 계열 모델인 페이블(Fable)에, 구현은 솔(Sol)에 맡겨 쓰던 조합에서 페이블이 앉아 있던 자리를 GPT-6 아스트라(Astra)가 대신할 수 있겠느냐는 물음이었다.

"페이블 설계 sol 구현으로 썼는데 페이블 자리 아스트라 맡길 수 있을까요? 아스트라 설계 맡겨보신분 계신가요?"

같은 날 오전 내내 이어진 이야기가 얼마나 빠르고 얼마나 잘하느냐였다면, 이 질문은 그 다음 단계를 건드린다. 새 모델을 어디에 꽂아야 전체 작업이 좋아지느냐다. 오후 2시 40분에는 같은 고민이 조금 더 구체적인 형태로 다시 올라왔다.

"아스트라 쓰시는 분들 혹시 워크플로우 어떻게 하시고 계신가요? 워커들도 다 아스트라로 하시고 계시는 지 아니면 오케스트레이션만 아스트라로 하시는지 궁금합니다."

지시를 내리는 자리만 상위 모델로 올리고 실제로 손을 움직이는 하위 작업은 값싼 모델에 맡길 것인가, 아니면 전 구간을 새 모델로 채울 것인가. 이 지점에서 방의 의견이 갈렸다. 오후 4시 54분에 나온 답 하나는 판단 자체를 모델에 넘기는 쪽이었다. 원래 페이블로 생각만 하던 부분을 아스트라에 넘기고, 그 아래는 알아서 나누게 뒀다는 것이다.

"전 그래서 그냥 원래 fable로 생각만 하던 부분을 그냥 astra줬습니다 나머진 알아서 라우팅해서 써라고했어요"

오후 5시 12분에는 그 구성을 한 단계 더 밀어붙인 사례가 공유됐다. 목표를 문장으로 넣으면 상위 모델이 그것을 읽고 새 세션에서 프로젝트에 맞는 모델과 추론 등급을 스스로 정한 뒤 작업을 시작하도록 짜 뒀다는 것이다. 하위 에이전트 쪽도 작업별로 쓸 모델과 추론 능력을 미리 선언해 둔 상태였다.

"전 프롬프트 즉 goal을 넣으면 그걸 울트라가 읽어보고 신규 세션에서 프로젝트에 적합한 모델 과 추론 등급을 결정하고 goal을 시작 / 하위 에이전트 역시도 각 작업에 맞는 모델과 추론 능력을 미리 선언해둬서 그에 맞춰서 해서 솔직히 20x 쓰면서"

1분 뒤 붙은 한 줄이 이날 논의의 결론에 가까웠다. 프로젝트마다 최적의 오케스트레이션을 짜는 데 몇 시간을 먼저 쓰는 편이 결국 비용과 시간을 크게 아낀다는 정리였다.

"프로젝트별로 최적의 오케스트레이션 시스템 구축에 몇 시간이라도 투자하시는게 비용과 시간을 엄청나게 버는 것 같슴다"

주목할 점은 새 모델을 평가하는 질문의 모양이 바뀌었다는 것이다. 어느 모델이 더 똑똑한가가 아니라 이미 굴러가던 파이프라인의 어느 칸을 이 모델로 갈아 끼울 것인가를 묻고 있고, 그 답이 사람마다 다르게 나온다. 같은 모델을 쓰면서도 결과가 갈리는 원인이 모델 자체보다 배치와 위임 설계에 있다고 보는 시각이 방 안에 자리 잡아 가는 것으로 보인다. 다만 이날 공유된 구성은 모두 개인이 자기 프로젝트에서 시험한 것이라, 어느 배치가 더 낫다는 비교 근거까지 나온 상태는 아니었다.