RAG 강의 시급 최저임금 수준, 프롬프트 테스트는 천 번부터
한 참여자가 RAG 강의 시급이 최저 시급까지 떨어졌다고 하소연하자 다른 참여자가 강의 시장의 과열과 프롬프트 테스트에 필요한 반복 횟수를 공유했다. 천 번에서 3천 번에 이르는 반복 검증 습관이 화제였다.
밤샘 작업 얘기가 오가던 중, 한 참여자가 불쑥 강의 시장 이야기를 꺼냈다. "강의는 최저 시급까지 내려감"이라는 짧은 한마디에 방 분위기가 술렁였다.
이 말이 나오기 직전, 다른 참여자는 이미 RAG 프로젝트 작업 자체의 고충을 토로하던 참이었다. "rag본격" "프로젝트하려니까" "너무빡시네"라고 힘겨움을 전했고, 강의 얘기를 꺼낸 참여자는 "RAG 테스트 100k 벡터 이상 넘어가면" "48GB 램으로 안됨"이라며 인프라 한계까지 짚었다. 그런 와중에 나온 시급 이야기였던 셈이다. 그는 강의 수준을 세 단계로 나눠 비꼬았다. "초짜들 : 노트북 LM으로 됨 ㅋㅋ llm wiki로 됨" "중수들 : 어?" "고수들 : 이게 강의로 될리가 없는데"라는 말이었다.
다른 참여자는 최근 참여했던 강의의 발표진 구성을 소개하며 화제를 돌렸다. "리스트업이 별건없구요 발표자가 저 어벤져스 엔드게임 데드풀2 아바타물의길 ai와 vfx작업자 김앤장 10년차 시이너변호사 출신 개발자 sk다니는 ai박사 책 3천권판 ai전문 도서편집자"라는 화려한 이력이었다. 그런데 이 참여자의 마음을 사로잡은 건 이력이 아니라 실무 습관이었다. "제가 그사람 맘에 든게 2가지 프롬프트 테스트는 천번부터 시작이에요"라는 것이었다.
"제가 그사람 맘에 든게 2가지 프롬프트 테스트는 천번부터 시작이에요"
또 다른 참여자가 "천번..?"이라며 놀라 되묻자, 이 참여자는 "3천번부터" "시작임"이라며 자신의 기준을 덧붙였다. 왜 그렇게까지 반복해야 하냐는 물음에는 "3천번테스트는 일관성을 위해서" "최소테스트"라고 답했고, 되묻던 참여자는 "일관성을 위한 최소테스트 "라고 정리하며 이해했다. 강의 시장을 비판했던 참여자도 자신의 검증 방식을 하나 보탰다. "전 무조건 프롬프트 결과는 히트맵으로 봐요"라며, 적어도 "히트맵부터 밴인건 찾을 수 있음"이라는 실전 팁을 내놨다. 다만 그 역시 기계적 지표만 믿지는 않았다. "무조건 사람으로 검사 해야지 마지막엔..."이라는 단서를 달았다.
강의 시급이 최저 시급까지 떨어졌다는 하소연과, 프롬프트 하나를 검증하는 데 천 번에서 많게는 3천 번의 반복이 필요하다는 경험담은 얼핏 무관해 보이지만 한 지점에서 만난다. 도구 사용법을 몇 시간 알려주는 강의는 시장에 넘쳐나는 반면, 결과를 수천 번 단위로 검증해가며 시스템을 다듬는 실전 노하우는 여전히 희소하다는 것이다.
노트북LM이나 위키 정도로 해결되는 초급 수요가 강의 시장을 채우면서 단가를 끌어내리는 사이, 정작 업계에서 신뢰받는 기준은 "천번부터"라는 반복 검증의 습관으로 옮겨가고 있다. 강의로 팔기 어려운 이 노하우야말로, 시장이 과열될수록 오히려 더 값이 나가는 역설을 보여준다.