모델 교체 뒤에도 캐시가 남을 수 있다는 논문

일요일 밤, 에이전트코리아에서 모델을 바꿀 때 캐시가 어떻게 되는지를 두고 짧은 문답이 오갔다. 여기서 캐시는 앞서 읽은 문맥을 저장해 두었다가 다시 쓰게 해 처리 비용을 줄이는 장치를 뜻하고, 캐시히트는 그 저장분이 실제로 재사용되는 것을, 에포트는 모델의 추론 강도 설정을 가리킨다. 질문자와 풀이자가 8건의 발화를 남긴 작은 토픽으로, 질문과 풀이가 한 번씩 오간 것이 전부다. 그 사이에 다른 참가자의 짧은 반응 두 줄이 끼어 있으나 무엇에 대한 말인지 분명하지 않아 다루지 않았다. 먼저 한 참가자가 질문을 던졌다.

모델간 캐시공유인가요?

질문자는 곧바로 자신이 받은 인상을 덧붙였다. gpt는 이미 공유하고 있는 것 같던데, 클로드는 모델을 바꾸면 캐시가 날아간다는 것이었다. 어디까지나 본인의 체감이어서 사실로 확인된 내용은 아니다. 질문자는 이어 에포트만 바꾸는 경우에는 캐시가 유지되는 것이냐고 되물었다.

아닌가 에포트 변경만 캐시 유지인가

논문 링크와 쉬운 풀이

잠시 뒤 다른 참가자가 arXiv 논문 링크를 올리며 우선 원본 링크라고 밝혔다. 그리고 이어서 논문의 취지를 한 줄로 풀어 적었다. 이 풀이에는 «킹반인 버전»(일반인용 요약의 오타로 보인다)이라는 말머리가 붙어 있었다.

AI 모델 중간에 업그레이드 시켜도 캐시히트가 일어나게 될 수도 있다

풀이의 표현은 가능성을 말하는 형태다. 일어나게 될 수도 있다는 말이어서, 지금 어떤 서비스에서 그렇게 된다는 뜻은 아니다. 논문 자체는 이 기사에서 확인하지 않았고, 아래 내용은 풀이한 참가자의 설명에 기댄 것이다.

같은 참가자는 몇 분 뒤 한 줄을 더 덧붙였다.

모델을 바꿀 때 문맥을 다시 읽는 비용을 줄인다

이 문답에는 논문의 제목이나 저자, 실험 수치에 대한 언급이 없다. 오간 것은 링크 하나와 두 줄의 풀이가 전부여서, 어떤 조건에서 캐시가 유지된다는 것인지는 대화만으로는 알 수 없다. 풀이를 올린 참가자도 이를 어디까지나 요약본 격의 풀이로 소개했다. 따라서 이 기사의 논문 관련 서술은 그 참가자가 요약해 준 범위를 넘지 않는다.

질문과 풀이 사이

두 사람의 말은 같은 주제를 향하지만 정확히 맞물리지는 않는 것으로 보인다. 질문은 지금의 서비스에서 모델 사이 캐시가 공유되는지, 에포트 변경만 예외인지를 물었다. 풀이는 모델을 중간에 올려도 캐시히트가 날 수 있다는 논문의 방향을 소개했다. 풀이가 질문에 직접 답한 것인지는 대화에서 드러나지 않는다.

그럼에도 두 발화는 모델을 바꿀 때 문맥을 다시 읽는 비용이 사용자에게 의식되는 지점임을 보여 준다. 클로드가 모델을 바꾸면 캐시가 날아간다는 질문자의 말과, 그 비용을 줄이는 방향의 논문 소개가 한 토픽 안에서 만난 것이다. 질문자는 풀이에 이어 별다른 반응을 남기지 않았고, 오간 말이 적으므로 이를 더 넓게 일반화할 근거는 없다. 논문의 주장이 실제 서비스에서 구현되는지는 별개의 문제로 남고, 대화에서도 그 점은 다뤄지지 않았다.