모델이 스스로를 코덱스로 착각한다 — 개발자가 풀어놓은 오모 네이티브의 교정 구조

해적판 보물찾기가 한창이던 밤 아홉 시 반부터 기술적인 문답이 섞여 들었고, 새벽에는 그쪽이 대화의 중심이 됐다. 저녁부터 이어진 소동의 주인공, 즉 오모 네이티브를 만든 개발자 본인이 자신이 짠 하네스의 내부 구조를 직접 풀어놓기 시작한 것이다.

발단은 캐시 이야기였다. 밤 9시 52분, 한 참여자는 자신이 실제로 소비한 토큰을 달러로 환산하면 400달러어치인데, 정작 원래 서비스인 Codex Pro 계정의 사용 한도는 10%도 채우지 않았다며 놀라움을 전했다.

"캐시된것도 환산했을때 400달러 어치 쓴건데.. 막상 Codex 들어가니 Pro 10%도 안썼..."

캐시 적중률이 이례적으로 높다는 뜻이었다. 밤 11시 25분에는 다른 갈래의 질문이 나왔다. 중국계 모델 GLM 5.2는 원래 이미지를 읽는 비전 기능이 없는데, 오모 네이티브 위에서는 어떻게 사진을 알아보느냐는 물음이었다. 개발자 본인은 이렇게 답했다.

"참고로 오모네이티브에서는 (해적판 포함) glm 5.2 도 공식 지원이고 비전 없는 모델도 이미지 볼 수 있도록 깎여져 있습니다"

GLM 5.2 자체에 눈이 생긴 건 아니었다. 개발자는 뒤이어, 비전이 없는 모델이 이미지를 마주치면 하네스가 연동된 다른 모델 목록 가운데 비전이 있는 모델에게 대신 물어보도록 요청을 넘긴다고 설명했다. 모델 자체를 개조한 게 아니라, 하네스 레이어가 중간에서 요청을 갈아 끼우는 우회 구조였다.

새벽으로 넘어가면서는 더 근본적인 구조가 나왔다. 새벽 2시 39분, 개발자는 오모 네이티브가 코덱스(Codex)의 실행 환경을 그대로 가져와 쓴다고 밝혔다.

"모델은 지가 코덱스인줄 압니다"

오모 네이티브 위에서 돌아가는 모델은 자신이 코덱스 안에 있다고 인식한다는 뜻이다. 개발자는 이어서, 모델이 도구 호출에서 실수를 저질러도 하네스 레이어가 그 실수를 강제로 붙잡아 고쳐놓는 별도의 교정 로직이 있다고 설명했다. 흥미로운 대목은 그다음이었다. 캐시 적중률이 이따금 떨어지는 현상이 있다면, 그건 성능 저하가 아니라 이 강제 교정이 작동하는 순간일 수 있다는 것이다. 하네스가 오류를 붙잡아 문맥을 다시 써넣는 과정에서 캐시된 앞부분 프롬프트가 한 번 깨지고, 그 대가로 다음 도구 호출부터는 다시 정상으로 돌아온다는 얘기였다. 즉 벤더가 내놓은 모델이나 코덱스라는 원본 도구 자체가 고쳐진 게 아니라, 오모 네이티브가 자체 하네스 레이어에 교정 로직을 얹어 모델의 실수를 그때그때 붙잡아주는 구조였다. 개발자는 이 대목에서 이렇게 자평했다.

"이정도로 모델이 멍청해져도 강제교정하고 컨텍스트 관리해주는 하네스는 읍다"

새벽 2시 50분, 한 참여자는 오모 네이티브를 쓰면서 체감한 컨텍스트 관리 안정성을 언급하며 개발자에게 직접 손을 봤는지 물었다.

"omon에 컨텍스트 관리도 손보신 건가여? 꽤 관리가 잘 되는 듯한 느낌.."

개발자는 그렇다고 확인했다. 이날 새벽 오간 문답을 종합하면, 오모 네이티브의 핵심은 새로운 모델을 만든 데 있지 않았다. 기존 모델과 기존 하네스인 코덱스의 실행 환경 위에, 캐시 적중률을 지키면서도 도구 호출 오류를 실시간으로 붙잡아 고치는 교정 레이어를 얹은 것이 개발자 스스로 밝힌 설계 원리였다. 모델이 실수를 하든 비전이 없든, 그 빈틈을 하네스가 대신 메운다는 얘기였다.