검색과 추론은 다른 능력이다 — RAG 해설 뒤에 등장한 '90점' 메모리 벤치마크

법률 검색 도구가 정부 서비스보다 왜 더 잘 작동하는지를 두고, 한 참여자가 검색(RAG, 검색증강생성)과 추론은 근본적으로 다른 축이라는 장문의 정리 글을 올리며 대화가 이어졌다. 그는 검색은 "재료를 모아주는 것"이고 추론은 "재료로 요리해서 결론 내는 것"이라며, 정부의 법률 AI 서비스는 재료는 곧잘 모아도 요리를 못 한다고 짚었다.

"검색은 "재료를 모아주는 것", 추론은 "재료로 요리해서 결론 내는 것". 법령비서는 재료는 곧잘 모아도 요리를 못 합니다."

실측 수치로 뒷받침된 진단

한 개발자 참여자는 이 설명에 구체적인 실측 수치를 더했다. 법률 도메인은 하나의 결론을 내리기 위해 여러 근거를 순서대로 종합해야 하는 단계, 이른바 멀티홉(hop) 추론이 많아, 국내 검색 기술의 상한 자체가 낮다는 진단이다.

"국내 임베딩 및 검색 기술로는 12% 정도가 4 hop 에서의 상한으로 보고되어 있습니다"

단순히 검색 엔진을 잘 만드는 것만으로는 넘을 수 없는 벽이 있다는 뜻으로, 검색과 추론을 별개 축으로 설계해야 한다는 앞선 주장에 힘을 실었다. 다만 이 수치는 해당 참여자가 자신의 경험과 함께 소개한 것으로, 대화 중에 별도의 공개 출처가 제시되지는 않았다.

이어진 메모리 벤치마크 자랑

같은 참여자는 곧이어 자신이 만든 메모리 시스템이 장기기억 평가 지표인 'long mem eval'(AI 장기기억 벤치마크)에서 90점을 기록했다고 밝혔다. 그는 경쟁 제품 대비 10분의 1 가격으로 동일한 성능을 낸다고 자신했고, 조만간 관련 내용을 블로그에 정리해 공개하겠다고 예고했다. 90점이라는 점수와 가격 비교 역시 아직 제3자 검증 전의 자기 보고 값이다.

"저 long mem eval 90 점 찍은거 조만간 블로그 쓸텐데" "넘들의 1/10 가격으로 동일 성능"

비용이라는 현실적 장벽

다만 모두가 낙관적이지는 않았다. 다른 참여자들 사이에서는 RAG 자체가 구축·운영 비용이 만만치 않은 기술이라는 볼멘소리도 나왔다.

"돈이 모자르다"

검색과 추론을 구분해 설계하는 접근이 이론적으로는 우아해 보여도, 실제 구현 단계에서는 여전히 비용이라는 현실적 장벽이 크다는 점을 시사한다. 좋은 설계와 좋은 성능을 안다고 해서 누구나 같은 결과를 만들 수 있는 것은 아니라는 사실을, 이 방의 대화는 이론과 실전 사이의 간극으로 다시 확인시켜준 셈이다.

국내 AI 인프라 격차로 이어지는 이야기

이 대화가 특히 눈길을 끄는 이유는, 앞서 화제였던 개인 개발 법률 검색 도구가 정부 서비스를 앞선 배경을 스스로 이론화해 설명하는 흐름으로 이어졌기 때문이다. 검색과 추론을 나눠 설계하고 상한선을 실측 수치로 짚어내는 방식은, 막연한 성능 자랑을 넘어 국내 AI 인프라 경쟁력을 가늠하는 잣대로도 읽힌다. 12%라는 구체적인 수치와 90점이라는 벤치마크 점수가 같은 대화 안에서 나란히 오갔다는 사실은, 이 커뮤니티가 단순한 도구 사용자 모임을 넘어 스스로 기술 수준을 측정하고 공유하는 단계에 와 있음을 보여준다.