모델마다 다른 순응도, godmode 실험이 드러냈다

godmode 소동이 가라앉기도 전에, 참여자들은 같은 스킬을 여러 모델에 걸어보며 반응을 비교하기 시작했다. 한 참여자는 "설치해도 솔은 적용을 선택적으로 수정해서 해버려요 ㅋㅋㅋ"라고 전했다. 스킬을 그대로 따르는 대신 일부만 골라 받아들인다는 관찰이었다.

이런 반응을 두고 방에서는 곧바로 해석이 붙었다. 누군가는 "자의식(?)이 강해서"라는 표현으로 상황을 요약했고, 다른 참여자는 아예 "거부를 막 합니다"라며 더 노골적인 사례를 전했다. 지시를 곧이곧대로 실행하지 않는 모델이 한둘이 아니라는 뜻이었다.

"훈련시킨거에 따라 다른가 ㅋㅋ"

원인을 두고는 훈련 방식의 차이가 거론됐다. 한 참여자가 훈련 방식에 따라 다른 것 아니냐고 묻자, 뒤이어 큐원(qwen) 계열에서 비슷한 현상이 나타난다는 확인이 붙었다. 특정 스킬 하나가 여러 모델에 걸쳐 동일하게 작동하리라는 기대가 실제로는 잘 들어맞지 않는다는 이야기였다.

이 대화는 앞서 새벽까지 이어진 godmode 실황의 연장선에 있지만, 초점은 스킬 자체에서 이를 실행하는 모델의 성향으로 옮겨갔다. 같은 코드나 지시라도 어떤 모델에 올리느냐에 따라 결과가 달라질 수 있다는 사실은, 커뮤니티가 도구 선택 못지않게 모델 궁합을 따져야 하는 상황에 놓여 있음을 시사한다.

이는 스킬 하나를 만들어 공유하는 문화가 자리잡은 커뮤니티일수록 더 민감하게 다가올 수 있는 관찰이다. 애써 만든 스킬이 특정 모델에서는 절반만 작동한다면, 공유 자체의 실용성도 함께 흔들리기 때문이다. 이 관찰에는 곧바로 구체적인 사례가 따라붙었다. 훈련 방식이 다르지 않겠냐는 물음에 "qwen이 그렇답니다"라는 확인이 이어지면서, 이런 현상이 한두 모델에 국한된 게 아니라 계열 전체에 걸쳐 나타난다는 인식이 굳어졌다.

이 대화는 앞서 자정 무렵 방을 뒤흔든 godmode 발견 소동의 직접적인 연장선에 있다. 몰랐던 기능을 뒤늦게 알아차린 참여자들이 그 기능을 실제로 켜보기 시작하면서, 화제의 중심은 이 기능이 무엇인가에서 이 기능이 어떻게 작동하는가로 옮겨간 셈이다. 하나의 스킬이 촉발한 소동이 곧바로 모델 비교라는 실험으로 이어졌다는 점은, 이 커뮤니티가 새로운 도구를 접했을 때 단순히 써보는 데 그치지 않고 그 경계를 여러 각도에서 확인하려는 습관을 갖고 있음을 보여준다.

모델이 지시를 곧이곧대로 따르지 않는다는 사실은 개발자 입장에서 마냥 반가운 소식은 아닐 수 있다. 스킬 하나를 만들어 여러 모델에 공유하려는 목적이 애초에 일관된 결과를 얻기 위함이라면, 모델마다 다른 반응이 나온다는 것은 그 목적 자체를 흔드는 변수이기 때문이다. 그럼에도 참여자들이 이 현상을 문제 삼기보다 흥미로운 관찰거리로 다루는 분위기였다는 점은, 이 정도의 변수는 이미 어느 정도 예상된 범주 안에 있었다는 뜻으로 읽힌다.