판정을 ENUM으로 바꾼 신모델 Jev, 속도와 비용을 동시에 줄였다
System One 계열 신규 판정 모델 Jev의 ENUM 방식 속도·비용 절감과 오픈소스 구현체 공개.
Jev라는 이름이 에이전트코리아 방에 처음 오른 것은 전날 밤 11시 22분이었다. 한 참가자가 "문장 대신 판단과 확률을 반환하는 AI 모델"이라는 소개 기사를 올리며 한 번 살펴보라고 권했고, 짧은 문답이 오간 뒤 대화는 잦아들었다. 화두가 본격적으로 불붙은 것은 이튿날 오후였다. 17일 오후 2시 28분, 다른 참가자가 System One 계열의 신규 판정 모델 「Jev」를 소개하는 글 링크를 툭 던지자 몇 분 지나지 않아 방 안 개발자들이 몰려들었다.
llm이 아닙니다ㅋㅋ
추론이 제로에 가까운 속도에요 ㅋㅋㅋㅋ
몇몇 개발자는 Jev가 일반적인 LLM처럼 문장을 생성해 판정하는 방식이 아니라 ENUM(열거형) 방식으로 답을 고르기 때문에, 추론 속도가 거의 즉시에 가깝다고 짚었다. 판정이라는 작업을 자유 생성이 아니라 정해진 선택지 중 하나를 고르는 문제로 바꾸면, 모델이 문장을 처음부터 끝까지 새로 만들어낼 필요가 없어진다는 이야기였다.
비용까지 줄었다는 확인
대화는 곧 실사용 검증으로 넘어갔다. 한 개발자는 Agentic QC(에이전트 결과물을 다시 점검하는 품질 검증 단계)까지 포함해서 계산해도 전체 비용이 크게 줄어드는 것을 확인했다며, 실제 파이프라인에 도입하는 것까지 검토하고 있다고 밝혔다. 속도만 빠른 게 아니라 비용 구조 자체가 달라진다는 확인이 나오면서, 대화는 순수한 기술 호기심에서 실무 적용 가능성 쪽으로 옮겨갔다.
오후 3시 42분에는 다른 참가자가 오픈소스로 공개된 구현체 링크를 공유했다.
오픈소스 구현체까지 등장하면서, 관심 있는 사람이라면 누구나 직접 코드를 열어 ENUM 판정 방식이 실제로 어떻게 동작하는지 확인할 수 있게 됐다. 블로그 링크가 공유된 오후 2시 28분부터 오픈소스 링크가 돌던 저녁까지, 방의 관심은 끊이지 않고 이어졌다.
하네스 논의와 맞물린 하루
같은 날 방 한쪽에서는 여러 에이전트가 토론해도 결론이 수렴하지 않을 때 결국 사람이 판정해야 하는 노동 부담을 짚는 대화도 오갔다. Jev를 둘러싼 화제와 이 대화를 나란히 놓으면, 판정이라는 작업 자체가 에이전트 워크플로우에서 병목으로 여겨지고 있다는 공통된 배경이 읽힌다. 사람이 수렴 안 되는 토론을 판정하는 노동력과, 모델이 ENUM 방식으로 판정을 대신 떠맡아 속도와 비용을 줄이는 시도가 같은 날 같은 방에서 오갔다는 것은, 판정 단계의 효율화가 지금 에이전트 커뮤니티의 실질적인 관심사로 자리잡고 있음을 시사한다.
일반 LLM의 판정 방식은 근거를 설명하는 문장을 통째로 생성한 뒤 그 안에서 결론을 추출해야 해서, 속도와 비용 모두에서 비효율이 쌓이기 쉽다. Jev처럼 판정 결과를 미리 정해둔 선택지로 좁혀두면 이 비효율을 걷어낼 수 있다는 것이 이번 화두가 보여주는 핵심이었고, 실제 파이프라인 도입까지 언급된 것은 이 접근이 단순한 데모 수준을 넘어섰다는 신호로 보인다. 다만 같은 방에서 도입을 검토하다 끝났다는 반대 결론도 함께 나온 만큼, ENUM 판정 방식이 실무 파이프라인에 실제로 자리잡을지는 조금 더 지켜봐야 할 대목이다.
이 화두에는 15명이 참여해 260건의 메시지를 남겼다. 저녁까지 오픈소스 구현체가 계속 공유된 것을 보면, 하루가 지나도 관심이 쉽게 식지 않을 것으로 보인다.