RAG 실무 수요와 기초 강의 재개최 논의

더미 100번보다 실무 한 번

9월 1일 저녁 8시 43분, 방의 화제가 학습용 연습과 현업 사이의 간극으로 옮겨갔다. 한 참여자는 케글(캐글, Kaggle)에서 더미 데이터로 100번 흉내 내는 것보다 실무 경험 한 번의 차이가 훨씬 크다며, 결국 RAG(검색 증강 생성)를 못 하면 살아남지 못한다고 잘라 말했다. 경진대회식 훈련으로는 채워지지 않는 층이 현업 쪽에 남아 있다는 진단이었다.

"결국 rag못하면못살아남는거고"

곧바로 다른 참여자가 RAG 붐과 RAGaaS(서비스형 RAG)를 예고하며 판을 키웠다. 그는 34M(파라미터 3,400만 개 규모·요즘 상용 모델에 견주면 아주 작은 축)짜리 PII(개인식별정보) 모델이 사실상 쿼리 라우팅 모델이라며, 그 크기로도 라우팅이 된다는 점을 근거로 들었다. 큰 모델을 통째로 부르지 않고 작은 모델이 질의를 갈라 보내는 구성이 실무에서 이미 성립한다는 이야기다.

"RAG 붐은 온다...!!"

수요 쪽 관찰도 붙었다. 한 참여자는 최근 만나본 스타트업이 전부 RAG와 온톨로지(ontology)를 들고 왔다고 전했다. 다른 지점에서는 사내 챔피언(회사 안에서 그 기술을 앞장서 끌고 가는 담당자)에게 AI 구독비를 주고 시키는 편이 싸져서, 회사 입장에서는 오픈이노베이션(외부 기업·연구소와 손잡고 과제를 푸는 방식)도 사라질 것 같다는 전망이 나왔다. 외부 협업으로 풀던 과제를 내부 인력과 구독료로 대체하는 계산이 이미 서 있다는 뜻으로 읽힌다.

"RAG와 온톨로지를 들고 왔어요"

논의는 곧장 커리큘럼으로 내려왔다

이 흐름은 강의 이야기로 이어졌다. 한 참여자가 강의를 한 번 더 하자고 제안했고, 앞서 RAG 이야기를 꺼낸 참여자는 기초 강의 만족도가 높았다는 점을 들며 이번에는 4시간으로 길게 잡는 안을 냈다. 다룰 내용으로는 잼마(구글 젬마, Gemma) 구동과 사내문서 챗봇, 오픈AI 코덱스(Codex) 양산이 함께 거론됐다. 일정은 수요일 미팅 이후 조율하기로 했다.

"이번엔 4시간잡고 좀길게갈까"

수요 진단과 강의 재개최 제안이 30분도 안 되는 간격으로 붙어 나왔다. 방이 RAG를 먼 전망이 아니라 지금 메워야 할 기술 공백으로 다룬다는 뜻이다. 스타트업들이 들고 오는 주제와 방 안의 학습 수요가 같은 단어를 가리키자, 논의가 담론 층에서 커리큘럼 층으로 곧장 내려앉은 흐름으로 보인다.

커리큘럼 후보로 오른 세 가지도 같은 방향을 가리킨다. 로컬 모델 구동, 사내문서 챗봇, 코드 양산은 모두 회사 안에서 곧바로 재현해야 하는 과제라는 공통점이 있다. 작은 모델로 쿼리를 라우팅한다는 앞선 사례와도 결이 같아, 이번 논의의 축이 모델 성능 경쟁보다 가진 문서와 가진 예산으로 무엇을 굴릴 수 있는가에 놓여 있는 것으로 보인다.

오픈이노베이션이 사라질 것 같다는 전망 역시 같은 축 위에 있다. 사내 챔피언 한 명의 구독비가 외부 협업 비용보다 싸다는 계산이 성립하려면, 그 챔피언이 RAG 정도는 직접 세울 수 있어야 한다. 실무 경험 한 번의 차이가 크다는 첫 발언과 4시간짜리 강의안이 같은 저녁에 이어진 것은 우연이라기보다 하나의 요구가 두 번 표현된 것으로 읽힌다.