긴 세션을 잇는 컴팩트와 핸드오프의 선택

일요일 밤 11시 1분, 에르메스단 방에 한 참여자가 "컴팩트 vs handoff"라는 짧은 질문을 올렸다. 보통 300k 안팎에서 자동 컴팩트(대화가 길어지면 지금까지의 내용을 요약해 줄이는 기능)를 돌리는데, 컴팩트와 핸드오프(다음 세션에 넘길 내용을 따로 정리해 새 세션으로 이어 가는 방식) 중 무엇이 더 효율적이냐는 물음이었다. 이 주제에는 6명이 35건을 보탰다.

파일이 남았다면 핸드오프라는 답

첫 답은 2분 만에 달렸다. 한 참여자는 초기 작업이 어느 정도 자리가 잡혔다면 데이터가 파일로 모두 남아 있으니 핸드오프가 낫다고 들었다고 적었다.

초기 작업이 어느정도 자리가 잡힌거면 데이터는 파일로 다 남아있으니까 핸드오프가 낫다고 들었어요

이 답은 핸드오프가 무조건 낫다는 주장이라기보다 조건이 붙은 권고로 읽힌다. 작업의 중간 결과가 이미 파일에 쌓여 있으면 대화 기록을 압축해 들고 가는 것보다 새 세션에서 파일을 읽게 하는 편이 낫다는 판단이다. 반대로 작업이 아직 자리 잡기 전이라면 같은 결론이 나오지 않을 수 있다는 뜻도 담겨 있어 보인다.

캐시를 깨지 않게 하는 요령

10분쯤 뒤에는 다른 각도의 조언이 나왔다. 한 참여자는 클로드의 캐시 히트(이미 보낸 내용을 다시 처리하지 않고 재사용해 비용과 시간을 줄이는 것)가 1시간이면 깨진다고 설명하며, 1시간 간격으로 주기적으로 점 하나를 찍게 해 캐시가 깨지지 않도록 하라고 권했다.

클로드가 캐시히트 1시간이면 깨지니까 차라리 1시간 간격으로 주기적으로 점하나 찍게해서 캐시 안깨지게 하고

캐시 유지 시간은 이 참여자의 설명으로, 대화에서 다른 근거는 제시되지 않았다. 다만 이 말은 컴팩트냐 핸드오프냐의 양자택일을 흔든다. 세션을 끊지 않고 이어 가는 쪽의 비용 부담을 줄이는 길이 있다면 질문의 전제가 달라지기 때문이다.

도구마다 다른 습관, 훅 커스텀이라는 변수

세 번째 답은 습관에 관한 것이었다. 한 참여자는 GPT는 클리어하고 다시 시작하지만 클로드는 압축해서 쓴다고 했다. 모델마다 다루는 방식을 달리하는 사용자가 있다는 사례다.

네 번째로 23시 22분에는 한 참여자가 컴팩트의 앞뒤에 끼우는 훅(특정 시점에 자동으로 실행되는 사용자 지정 동작)을 직접 다듬으면 컴팩트가 압도적이라고 생각한다는 개인 의견을 냈다.

정리되지 않은 질문

결국 이 대화는 하나의 정답으로 모이지 않았다. 파일이 남으면 핸드오프, 캐시를 지키며 이어 가기, 모델별로 클리어와 압축을 나누기, 훅을 다듬은 컴팩트가 각자 다른 조건에서 나왔다. 긴 세션을 어떻게 이을지는 작업이 얼마나 자리 잡았는지, 세션이 얼마나 오래 쌓이는지에 따라 답이 갈리는 문제로 보인다. 한 사람의 질문에 서로 다른 경험이 한꺼번에 돌아온 장면이어서, 이 화두가 개인의 작업 방식과 습관에 크게 좌우된다는 점을 시사한다.