Jev·Laya·ZTC 판단 모델을 테트리스에 붙인 실험 공개 — ZTC 모델을 직접 올린 공개자의 비교에서 ZTC가 가장 나았다

아침판에서 초고속 판단 모델 Jev(제브)를 어디에 쓸지 다뤘다면, 오후에는 실사용의 한계와 비교 실험이 나왔다. 아침판이 작업별 모델과 effort(추론 강도, 모델이 얼마나 오래 생각할지 정하는 단계) 설정을 Jev로 자동화한 사례를 전했는데, 오후 2시 무렵 한 참여자가 그 자동화가 어디까지 되는지 선을 그었다. 캐시 적중 때문에 작업 도중에 모델을 바꾸기는 어렵다는 것이다. 캐시 적중은 이미 읽힌 문맥을 다시 읽지 않고 재사용해 비용과 시간을 줄이는 방식인데, 모델을 바꾸면 이 캐시가 깨진다.

effort만수정하는건 되는데 model은 작업도중에 수정은어렵고

그래서 Jev는 위임하는 시점에 어떤 모델을 쓸지 정하는 용도로는 쓸 만하다는 정리였다. 판단 모델을 작업 흐름의 한가운데가 아니라 입구에 두는 쪽이 현실적이라는 뜻으로 읽힌다.

테트리스 판 위의 세 판단 모델

오후 2시 39분, 다른 참여자가 실험 하나를 올렸다. 비교 대상 가운데 Laya(라야)는 Jev의 오픈소스 대안으로 앞서 거론된 판단 모델이다.

글로벌 화두인 JEV와 Laya 그리고 ZTC 3종의 자기확신 능력을 검증하기 위해 테트리스에 붙여 보았습니다.

결과와 재현 코드는 허깅페이스에 공개됐다. 짚어 둘 점은 공개자가 비교 대상 가운데 하나인 ZTC 모델을 직접 올린 당사자라는 것이다. 그는 뒤이어 모델까지 허깅페이스에 함께 올렸다고 스스로 밝혔다. 설계의 요점은 시간이다. 판단에 쓰는 시간도 제한 시간에 포함되는 구조라, 호출을 여러 번 하면 그만큼 남은 시간이 깎인다.

총 주어진 시간안에서 판단하는것도 시간에 카운트. 예를들어 0.1초짜리 호출을 10개하면 1초를 쓰는거죠.

그가 공개한 비교에서는 잘못된 호출을 많이 한 쪽이 시간을 다 써서 멈췄고, 셋 가운데 ZTC가 가장 나았다는 것이 공개자 설명이다.

ZTC가 테트리스는 셋중 가장 나았음

이 판에선 자주 틀려 여러 번 되묻는 모델일수록 불리하다. 판단을 다시 확인하는 호출 하나하나가 곧 비용이 되는 구조라, 실험이 내건 자기확신 능력이란 결국 한 번에 맞게 판단하고 멈출 줄 아는 힘을 가리키는 것으로 보인다.

로컬에서 도는 ZTC

이름에 대한 설명도 따라왔다.

ZTC는 제로 토큰 콘피던스의 약자에요.

공개자는 ZTC가 로컬 실행을 지원하며 4b·9b·27b·397b 크기가 있다고 설명했다. 사흘 전인 20일 저녁엔 Jev는 API만 지원되지만 ZTC는 로컬 모델로 동작한다는 설명과 함께, 플레인·Jev·ZTC 비교 자동 시험기가 먼저 허깅페이스에 공개된 바 있다. 전날인 22일 더배러에서도 Jev와 Laya를 테트리스로 겨룬 게시물이 돌며 Laya가 빠르지만 자멸했다는 이야기가 오갔다(아침판 기사). 당시 이 화제에 붙은 사람은 3명, 메시지는 15건이었는데 23일 오후 테트리스 토픽엔 8명이 60건을 주고받았다.

판단 시간을 제한 시간에 넣은 설계는 판단 모델을 정확도만이 아니라 호출에 드는 시간까지 한 판에서 재려는 시도로 보인다. 다만 결과는 ZTC를 올린 공개자 본인의 비교이자 설명이고 테트리스 한 종목이라, 다른 작업으로 넓혀 읽기엔 이르다. Jev로 모델을 고를 때의 캐시 한계와 겹쳐 보면, 판단 모델을 어디에 끼울지뿐 아니라 언제, 얼마나 자주 부를지가 설계 변수로 올라오고 있음을 시사한다.