에이전트 기억 설계에서 한 참여자는 1024차원·int8을 권했다 — 삭제 사고와 RSI 용어 논쟁도 겹쳤다

오후 3시가 넘어 에이전트코리아에 기억 이야기가 올라왔다. 한 참여자가 한 포럼을 보고 자기 기억 체계를 효율화할 실마리를 얻었다고 했다. 특히 작업이 끝난 뒤 경험을 회수해 다시 쓰는 절차가 인상 깊었다는 것이다. 이날 이 주제에는 18명이 328건을 주고받았다.

경험회수하는 절차라해야하나

그 참여자는 원본 자료를 고치지 않는 원칙은 원래 지켜 왔고, AI가 수정한 파일을 관리하는 법은 이번에 제대로 배웠다고 했다. 남은 숙제로는 AI의 해석이 확정된 사실처럼 취급되는 문제와, 대체된 판단과 현재 판단 사이의 간극을 꼽았다. 다른 참여자는 원본 수정 금지, 본인 작업, 작업 링크의 세 갈래로 나눠 관리한다고 소개했다.

임베딩은 어디까지 줄이나

기억을 검색하려면 글을 숫자 묶음으로 바꾸는 임베딩(embedding)이 필요하고, 그 묶음의 길이가 차원이다. 한 참여자는 개인 경험이라며 조언을 이어 갔다. 128·256·512차원은 피하라고 했고, 1024차원 안팎이면 정보가 꽤 보존된다고 했다.

1024 정도면 나름 잘 보존해요

숫자를 정수로 줄여 저장하는 양자화(quantization)는 int8까지는 쓰는 편이지만 int4는 성능이 크게 떨어진다고 했다. 벡터DB 용량이 16GB를 넘기 시작하면 컴퓨터에서 버겁고 서버비도 부담스럽다는 말도 나왔다. 다른 참여자는 1024차원도 밀어 넣을 때 병목이 심해 임베딩 모델 네 개를 달아 둔 상태라고 했다.

지우는 사고, 막는 훅

기억 이야기는 삭제 사고로 넘어갔다. 입사 사흘째라는 참여자가 같은 팀 개발자의 rm(파일 삭제 명령) 사고를 목격했다고 전하자, 한 참여자는 자신은 훅(hook, 특정 명령 실행 직전에 끼어드는 차단 장치)으로 막아 뒀다고 답했다.

trash 써라

대화에서는 삭제를 파이썬 스크립트나 셸 파일로 돌려 피해 가려는 시도도 언급됐고, npm에 패키지 152개가 한꺼번에 발행된 사고 이야기까지 나왔다. 명령 하나를 막는 것만으로는 부족하다는 경험담으로 읽힌다.

RSI는 어디까지를 말하나

16시 무렵에는 논문 이야기가 나왔다. 한 참여자는 논문이 하네스(harness, 모델을 감싸 도구와 규칙을 붙이는 실행 틀) 개선에 초점을 둬서 RSI(재귀적 자기 개선) 맥락과는 맞지 않는다고 지적했다.

RSI 는 모델 '학습'을 자가적으로 개선한다가 주맥락이라

이에 다른 참여자는 베이스 가중치는 그대로 두고 RSI 가중치를 추가로 생성하는 접근을 설명했다. 같은 말을 쓰면서 하네스를 고치는 일과 모델 학습을 고치는 일이 섞여 쓰이고 있다는 지적으로 보인다.

이날 대화는 에이전트 기억이 어디에 저장하느냐보다 무엇을 원본으로 두고 어떻게 지우고 막느냐로 모이고 있음을 시사한다. 다만 임베딩 조언은 한 참여자의 개인 경험이어서 일반 기준으로 받아들이기는 이르다.