모델이 똑똑해질수록 하네스를 덜어내자는 쪽으로 기울었다

낮 2시 무렵, 새 모델이 지나치게 신중하다는 관찰이 올라오면서 이야기가 시작됐다. 작은 수정 하나를 한 시간째 붙들고 있다는 것이었다. 처음에는 모델 성향에 대한 감상으로 읽혔지만, 곧 원인을 모델이 아니라 그 위에 얹은 설정에서 찾는 쪽으로 방향이 틀어졌다.

"아 페이블5.1은 엄청 신중하네요 ㅋㅋㅋㅋ"

"기존 하네스가 불필요한 일을 시키고 있는걸지도요 ㅎㅎㅎ 얼마나 바꼈을지 감도 안옴 ㅎㅎㅎㅎ"

구체적인 증상도 함께 공유됐다. 이전 세대 모델에서 자주 나오던 말버릇이 한동안 잦아들었다가 새 버전에서 다시 도졌고, 그래서 금지어 목록에 다시 등록해야 할 것 같다는 이야기였다. 학습한 한국어 개발 커뮤니티 데이터가 표현에 영향을 준 것 같다는 추정도 붙었는데, 커뮤니티에서 쓰는 표현을 모델이 그대로 승계한 셈이라는 농담이 오갔다.

논쟁의 축이 분명해진 것은 그다음이었다. 더 좋은 모델이 빠르게 나오는 상황에서 기존 하네스가 도움이 안 되는 정도를 넘어 방해가 될 수 있다는 견해에, 동의가 여럿 붙었다.

"더 좋은 모델이 워낙 빠르게 나오고 있어서 기존 하네스가 도움이 되지 않는 수준을 넘어서 오히려 방해가 될수있다.."

찬성 쪽 논리는 하네스의 존재 이유를 거슬러 올라가는 방식이었다. 모델이 부족했기 때문에 엔지니어링이라 부를 만큼 세심한 지침이 필요했던 것이고, 모델이 충분히 똑똑해지면 그 부분에서 힘을 뺄 수 있다는 정리다. 지금의 제약 상당수는 예전 모델의 약점을 메우려고 쌓아 올린 층이라는 관점이다.

"부족했던 만큼 엔지니어링이라는 말을 붙일정도의 세심한 지침이 필요했던건데 모델들이 더 충분히 똑똑해진다면 이 부분에서 힘을 뺄수 있는거죠"

다만 전부 지우자는 이야기로 가지는 않았다. 모델 영향을 받는 것으로 보이는 제약 사항만 별도 파일로 갈라 관리하고 있다는 운용 방식이 소개됐다. 모델이 바뀔 때 통째로 걷어내는 대신 갈아 끼울 부분만 분리해 두는 접근이다. 관계를 비유로 정리하는 시도도 나왔다.

"프로 일잘러에게는 마이크로매니징 상사가 오히려 방해가 되는 식일까요"

이 비유는 곧 반대 방향으로도 확장됐다. 모델이 유능한 실무자에 가까워질수록 세세하게 지시하는 쪽보다 방향만 주는 쪽이 잘 맞고, 반대로 지시하는 사람이 방향을 잡지 못하면 결과물이 겉만 그럴듯한 산출로 흐른다는 지적이었다.

오후 들어서는 실제 운용이 어디로 향하는지가 드러났다. 스킬을 잘 만들어 두는 것 외에는 거의 순정으로 쓰게 된다는 이야기에 동의가 이어졌고, 자주 쓰는 명령 두어 개 정도만 남기고 슬슬 순정으로 가는 중이라는 후기가 붙었다.

"스킬 잘 만들어 놓는거 외에는 거의 순정으로만 하게 되는거 같아여"

정리하면 이날 논의는 하네스를 없애자는 쪽이 아니라, 무엇이 모델의 부족을 메우던 층이고 무엇이 내 작업 방식을 담은 층인지 갈라 보자는 쪽으로 수렴했다. 앞의 것은 모델이 바뀔 때마다 재고 대상이 되지만 뒤의 것은 남는다. 새 모델이 나올 때마다 설정을 다시 들여다봐야 하는 비용이 생겼다는 점에서, 하네스 관리가 한 번 만들고 끝나는 작업이 아니게 됐다는 신호로도 읽힌다.