md 워크플로우를 훅 파이프라인으로 옮기는 난이도
마크다운으로 하던 워크플로우를 훅 파이프라인으로 옮기며 겪는 어려움과 토큰 부담에 대한 에이전트코리아의 대화
토요일 저녁, 에이전트코리아에서 한 참가자가 요즘 붙들고 있는 작업 이야기를 꺼냈다. 훅 파이프라인, 곧 작업 중 특정 시점에 자동으로 실행되는 규칙을 이어 붙인 흐름을 제대로 짜 보는 중인데, 머리는 아프지만 재미는 있다는 것이었다. 이 토픽에는 참가자 세 명이 모여 57건의 발화를 주고받았다. 같은 시간대 보고서 공개 범위를 두고 오간 대화의 곁가지로 나온 이야기다.
훅 파이프라인이랑 같이 좀 제대로 짜보고 있는데 머리 엄청 아픈데 재밌네요 이거
작업마다 달라지는 호출 방식
어려움의 정체는 호출 방식이 제각각이라는 점이었다. 이 참가자는 어떤 작업은 HTTP API로 부르고, 어떤 작업은 claude -p로 부르며, CLI도 저마다 다르게 불러야 해서 그것을 전부 훅으로 짜고 있다고 설명했다. 같은 파이프라인 안에서 부르는 문이 여러 개라는 이야기다.
막 어떤 작업은 http api로 호출하고 어떤 작업은 claude-p 호출하고 cli도 다 다르게 호출하고 이런 거 훅으로 짜고 있어용 어려워...
이 작업을 한마디로 정리한 말도 나왔다. 글로 적어 두고 따라 하던 절차를 자동으로 돌아가는 흐름으로 바꾸는 일이라는 것이다.
그쵸 md로 하던 워크플로우 훅으로 옮기는 느낌이에여
훅만 걸면 쉽지만
다른 참가자는 난이도를 두 층으로 나눠 보았다. 훅만 거는 것은 쉬운 편인데, 상태를 추적하고 최적화까지 들어가면 이야기가 달라진다는 것이다.
순수하게 훅만하면 좀쉬운편인데
비용 이야기는 한 참가자가 데이터 분석 기반 개선 루프 이야기를 꺼내자 나왔다. 다른 참가자가 그런 작업을 돌려 봤더니 처음부터 쌓인 기록을 긁어오는 바람에 토큰이 크게 들었고, 하루 만에 다 쓰겠다는 생각에 중간에 멈췄다는 경험담이다. 훅 파이프라인을 짜는 쪽의 이야기가 아니라 개선 루프에서 나온 경험이다. 같은 대목에서 또 다른 참가자는 전처리를 해야 한다고 말했다.
전처리를 해야한다
확확 달아서 하루만에 다 쓰겠다 싶어서 바로 멈춤;;
왜 이 이야기가 오갔을까
이유를 단정할 수는 없지만, 몇 가지 결을 읽어 볼 수 있다. 마크다운으로 적은 절차는 사람이 읽고 따라 하기에는 편하지만, 실제로 돌리려면 작업마다 호출 방식과 상태 관리를 따로 정해야 한다. 그 틈에서 훅이 자동화의 접착제처럼 쓰이는 것으로 보인다.
또 하나는 비용이다. 개선 루프에서 쌓인 기록을 처음부터 긁어오면 토큰이 크게 든다는 경험이 이 대화에 나왔다. 다만 이는 참가자 몇 명의 작업 경험일 뿐이며, 훅 파이프라인 일반의 난이도나 효율을 말해 주는 근거로 받아들이기는 어렵다.
정리
이 대화는 마크다운 워크플로우를 훅 파이프라인으로 옮기는 일이 개념은 단순해 보여도 실제로는 호출 방식의 다양함, 상태 추적, 최적화라는 여러 층이 겹친 작업임을 시사한다. 개선 루프에서는 토큰 비용이라는 부담도 따로 거론됐다. 훅을 거는 일 자체는 쉬운 편이라는 평가가 있었고, 어려움은 그 위에 얹히는 관리 단계에서 나온다는 것이 참가자들의 설명이었다.
처음 이야기를 꺼낸 참가자는 힘들지만 재밌다고 했다. 한쪽에서는 전처리를 해야 한다는 말이, 개선 루프를 돌려 본 쪽에서는 처음부터 쌓인 기록을 긁어오다 토큰이 크게 들었다는 경험이 나왔다.