JEV를 하드게이트에 앉혀보니 — ICL에 예민한 고인물 전용 모델

저녁 8시를 넘긴 시각, 에이전트코리아 방에서 한 개발자가 오픈클로 세션(클로드 코드·코덱스 등 여러 하네스를 함께 쓰는 구성)의 라우팅을 JEV(System One Model)에 맡겨보고 있다고 알렸다. 전날 저녁부터 화제였던 이 판정 모델을 실제 파이프라인 자리에 앉혀본 사용기가 이어지면서 대화는 순식간에 진지해졌다.

오픈클로 세션(클코, 코덱스, gjc, agy 등등) 라우팅을 jev로 시켜보고 있습니다

곧이어 다른 참가자가 JEV를 QC(품질검증) 레이어와 하드게이트 자리에 직접 넣어본 실측을 공유했다. 추론을 거의 하지 않는 대신 속도가 빠르고, QC 비용을 크게 줄일 수 있었다는 확인이었다. 다만 RAG(검색증강생성) 전처리 단계에 적용하기엔 예외 케이스가 많아 아직 이르다고 선을 그었고, 기존 리랭커를 대체하는 용도는 검토 중이라고 덧붙였다.

추론이 없다는 것의 두 얼굴

한 참가자가 "빠르다 = 추론 별로 없다 = 맥락이 전부 = 맥락에 따라 답 다름"이라고 정리하자, 다른 참가자는 "고인물 전용 모델이에요"라며 맞장구를 쳤다. 판정을 문장 생성 없이 즉시 끝내는 대신, 입력된 맥락(In-Context Learning)에 결과가 크게 좌우된다는 뜻이었다.

약간 그렇다면 ICL 에 굉장히 예민하겠군요

이 특성을 두고 한 참가자는 다른 해석을 내놓았다. JEV가 프롬프트에 따라 결과가 들쑥날쑥한 게 아니라, 사용자가 과제를 객관적으로 잘 정리해줄 때 강력하게 작동하는 모델이라는 관점이었다.

근데 저는 jev가 프롬프트에 따라서 변화한다기보다는, 사용자가 객관적으로 잘 정리해줄수 있는 테스크에 쓰면 강력하다 정도로 생각하고 있습니다. 프롬프트로 잘 정리해주면 강력하다는 의미니까 비슷할수도

도입 문턱은 낮아졌지만

같은 모델을 두고 'ICL에 예민해 다루기 어렵다'는 평과 '프롬프트만 정리하면 강력하다'는 평이 동시에 나온 것은, JEV가 아직 누구나 바로 붙여 쓸 수 있는 범용 도구는 아니라는 점을 시사한다. QC 레이어·하드게이트처럼 입력이 이미 구조화된 자리에서는 비용 절감 효과가 뚜렷하지만, RAG 전처리처럼 입력이 흐트러진 자리에서는 아직 조심스럽다는 반응이 이를 뒷받침한다.

전날 오픈소스 구현체 공개로 화제성이 커졌던 JEV가, 이날은 실제 QC 파이프라인 도입 사례와 한계 진단으로 한 단계 더 들어간 셈이다. 리랭커 대체 검토까지 언급된 만큼, 다음 화두는 이 모델이 어디까지 기존 구성 요소를 밀어낼 수 있는지가 될 것으로 보인다.