긴 세션은 품질을 깎는다 — 컨텍스트 60%에서 나누고 MD·JSON으로 넘기라는 조언

추석 당일 오후 5시, 한 참여자가 GPT 데스크톱 앱에서 대화가 쌓이면 새 세션에서 다시 일을 시켜야 하는지 물었다. 긴 대화를 그대로 이어 갈지, 끊고 새로 시작할지의 문제였다. 돌아온 답은 분명했다.

한세션에서 쭉 계속 이어가는게 사실 품질을 많이 저하시킵니다

구체적인 기준도 나왔다. 다른 참여자는 컨텍스트가 60%쯤 찼을 때 세션을 나누거나, 그때까지의 내용을 종합 정리받아 새 세션에서 이어 가라고 조언했다. 컨텍스트가 꽉 차기 전에, 아직 여유가 있을 때 끊으라는 기준이다.

컨텍스트 60%쯤 되면 새세션 나누는것도 좋고

왜 그런지에 대한 설명도 뒤따랐다. 모델이 잊어버려서라기보다, 쌓인 과거 컨텍스트가 지금 하는 일을 방해한다는 것이다. 사람에 빗댄 비유도 나왔다. 오래 이어진 세션일수록 모델이 챙겨야 할 앞선 내용이 늘어나고, 그만큼 지금 요청에 쏟을 주의가 흩어진다는 설명으로 읽힌다.

한세션에서 쭉 대화하는건 사람보고 안재우고 몇일씩 일시키고 내용들 정확히 기억하고 있으라는것과 비슷한 느낌이랄까...

저장은 되는데, 꺼내 쓰기가 문제

조언은 저장 방식으로 이어졌다. 컨텍스트를 MD나 JSON으로 바꿔 저장만 해도 많이 좋아진다는 것이다. 정리본을 파일로 남겨 두면 새 세션은 긴 대화 전체가 아니라 그 파일에서 출발할 수 있다.

대화는 자연스럽게 메모리 도구 오픈크랩의 자동 인제스트, 즉 자료를 도구 안으로 받아들여 쌓는 기능으로 옮겨 갔다. 한 사용자는 들이는 쪽보다 꺼내 쓰는 쪽이 어렵다고 털어놨다.

다만 인제스트는 되는데 꺼내오는게 좀 잘 안되서

창 끝 무렵에는 두 가지 인제스트 방식에 대한 설명이 올라왔다. 하나는 대화를 저장하는 텍스트 인제스트이고, 다른 하나는 대용량 데이터를 1기가 이하 데이터 팩으로 만드는 크랩에이전트 인제스트다. 설명에 따르면 후자는 파싱(형식 해석)·청킹(작은 조각으로 나누기)·벡터 임베딩(의미를 숫자로 바꾸기)을 거쳐 그래프 구조로 묶은 뒤 용량을 크게 줄여 저장한다.

크랩에이전트 인제스트는 수백기가의 데이터나 코드 사진 이미지 등 몇테라의 데이터들도 파싱 청킹 벡터임베등 그래프 하이퍼엣지 화 해서 1기가 언더 의 데이터 팩으로 저장하는 거에요

이 문답은 긴 대화의 문제를 기억력보다 잡음의 문제로 보는 시각을 보여 준다. 오래된 맥락이 많을수록 지금 일에 방해가 된다면, 해법은 더 많이 담는 쪽이 아니라 적당한 때 끊고 필요한 것만 정리해 넘기는 쪽이 된다. 동시에 인제스트는 되는데 꺼내 오기가 어렵다는 발화는, 정리해 넘긴 기억을 다시 불러오는 단계가 아직 과제로 남아 있음을 시사한다. 세션을 끊는 시점과 저장 형식, 저장 도구의 인출 문제까지가 한 흐름의 문답으로 이어졌다.