캐시 130만 토큰을 데워두면 0.182달러가 남는다 — Senpi가 보여준 캐시 히트 경제학
캐시 히트가 토큰 비용을 얼마나 깎아주는지를 두고 새벽 기능 설명부터 오전 실측 공유까지 이어졌다. 130만 토큰 캐시 유지로 0.182달러를 아꼈다는 계산과 모델별 캐시 유지율 비교가 나오며, 캐시 효율이 모델 선택의 새로운 기준으로 자리잡고 있음을 시사한다.
오전 10시 45분, 한 참여자가 "앞으로 토큰 가격 매길 때는 캐시 히트 가격도 잘 봐야 될 것 같아요"라는 말로 화두를 던졌다. 앞서 새벽 시간대에 같은 참여자는 Senpi의 'Cache-warm wait·Cache-warm wake' 기능을 코드 출처까지 짚어가며 상세히 풀어 설명한 바 있었는데, 그 여운이 오전 대화로 이어진 셈이다.
"앞으로 토큰 가격 매길 때는 캐시 히트 가격도 잘 봐야 될 것 같아요."
캐시 히트란 이전에 모델에 입력했던 내용을 처음부터 다시 읽지 않고 저장해둔 상태에서 재사용하는 것을 말하는데, 이렇게 재사용된 토큰은 새로 입력하는 토큰보다 훨씬 싸게 계산된다. 새벽에 공유된 설명에 따르면, 실제로 130만 토큰 넘게 캐시로 재사용되고 있을 때 이를 처음부터 다시 읽었을 경우와 비교해 약 0.182달러를 아낀 것으로 추정된다는 화면 수치까지 등장했다. 다른 참여자는 캐시를 계속 데워서 유지하는 것과, 세션이 길어지며 컨텍스트가 무거워지는 것 사이에 균형이 필요하겠다고 짚었다.
"캐시히트를 잘먹여서 계속 유지하는거랑.. 세션이 길어져서 컨텍스트 쌓이면서 무거워지는거랑 뭔가 균형이필요하겠네요"
이어 다른 참여자는 자신이 쓰는 딥시크 모델의 캐시 크기가 넉넉하지 않아 캐시가 자주 축출되는데도, 캐시 히트와 미스의 비율만큼은 일정 수준으로 유지된다는 실측을 공유했다.
"제 딥식이 ... 캐시 사이즈가 그리 넉넉치 않은데 여기저기 불러쓰다보니 캐시 축출 비율이 자주 있음에도... 캐시 히트/미스 비율은 이정도가 유지됩니다"
오모네이티브 모델은 화면에 캐시 히트율을 따로 표기해준다는 이야기도 나왔다. 이를 두고 다른 참여자가 22.1퍼센트가 캐시 히트냐고 되묻자, 오모네이티브를 쓰면 캐시 히트가 더 잘 된다는 이야기도 이어졌다. 캐시 히트가 걸리면 출력 비용이 대략 10분의 1 수준으로 낮아지는 것 아니냐는 계산도 나왔는데, 다른 참여자는 캐시 히트가 적용되는 것은 출력이 아니라 입력 쪽이라고 곧바로 정정했다.
"참고로 오모 네이티브는 캐시히트를 아래 표기해주더라고요"
"22.1%가 캐시히트인가요"
"output값이 1/10정도 저렴해지는거죠? 캐시히트되면"
"캐시히트는 입력이에요"
하루 동안의 대화를 종합하면, 이 방에서 캐시 히트는 더 이상 부차적인 기술 디테일이 아니라 실제 지출을 좌우하는 변수로 다뤄지고 있었다. 새벽의 기능 설명, 오전의 비용 계산, 모델별 캐시 유지 실측까지 이어진 흐름은 참여자들이 단순히 "어떤 모델이 좋은가"를 넘어 "어떻게 써야 같은 결과를 더 싸게 얻는가"로 관심을 옮기고 있다는 것을 보여준다. 토큰 값이 사실상 캐시 설계에 좌우된다는 인식이 자리 잡으면서, 모델 선택 기준에 캐시 효율이라는 새로운 축이 더해지는 모습이다.