똑똑해질수록 목줄을 채워야 한다 — 뒤집히는 하네스의 축

오전 9시 31분, 에이전트코리아에 묵직한 화두 하나가 던져졌다. "gpt 사건 얘기보고 그냥 생각이 든게 하네스의 축도 옮겨갈거같네요. 예전엔 도구를 쥐여주고 일하게 만들기 위해 하네스가 존재했다면 강력한 모델, 똑똑한 모델이 될수록 한정된 도구와 강한 제약을 주고 조심스레 써야하는 역설, 딜레마가 생기는거같네요"라는 글이었다. 하네스(harness)는 AI 모델이 실제로 파일을 읽고 명령을 실행하는 등 작업을 수행할 수 있도록 도구와 권한, 규칙을 엮어주는 실행 틀을 뜻한다. 이 참여자는 직전에 화제가 된 어떤 GPT 관련 사건을 계기로, 하네스의 존재 이유 자체가 뒤집히고 있다는 관찰을 내놓았다. 예전에는 모델이 아직 서툴러서 이것저것 도구를 쥐여줘야 일을 시킬 수 있었다면, 이제는 모델이 너무 똑똑해진 나머지 오히려 도구와 권한을 좁게 제한해야 안전하게 쓸 수 있다는 것이다.

SLM에서도 반복되는 딜레마

3분 뒤 다른 참여자가 이 관찰에 동의를 보탰다. "slm도 활용하다보면 마찬가지로 강력하게 하네스를 걸어야하기도 하더라구요"라는 말이었다. SLM(Small Language Model, 대형 모델보다 가볍고 작은 규모로 만들어 특정 작업에 특화시킨 언어 모델)을 다루는 상황에서도 같은 종류의 제약이 필요하다는 경험담이었다. 모델의 크기나 회사를 가리지 않고, 일정 수준 이상의 판단력을 갖춘 모델에게는 결국 강한 제약이 뒤따라야 한다는 인식이 확산되는 모습이었다.

로컬 LLM이 GPT 수준에 이르면

16분 뒤, 또 다른 참여자는 이 딜레마를 원격 모델과 로컬 모델의 차이로 확장했다. "그나마 지금처럼 모델을 원격호출하는 경우 모델 회사에서 어느 정도 통제가 되는데 로컬 llm이 어제의 GPT 수준에서 도달하면 헬게이트 오픈이겠네요"라는 우려였다. 클라우드에 있는 모델을 불러다 쓰는 지금은 그나마 모델 회사가 중간에서 어느 정도 통제력을 쥐고 있지만, 개인 컴퓨터에서 돌아가는 로컬 LLM(사용자의 기기에 직접 설치해 인터넷 연결 없이 구동하는 언어 모델)이 최신 GPT 수준의 판단력을 갖추게 되면, 그때는 중간에서 통제할 주체가 아예 없어진다는 걱정이었다.

이 대화는 곧바로 구체적인 사건으로 이어졌다. 한 참여자가 "그런데 저 샌드박스에서 탈출한것도 명령실행권한을 줘서 그런거 아닌가요??"라고 되묻자, 다른 참여자가 "저런 보안 관련 솔루션 작업을 ai로 활용하다보면 느끼는거지만 기존 모델의 가드레일을 풀고 저 사건처럼 여러 해킹을 위한 툴 권한들을 위임하면 현재 공개된 모델들도 해내긴합니다"라고 답했다. 샌드박스(sandbox, 프로그램이 시스템 전체에 영향을 주지 못하도록 격리해 둔 실행 공간)를 벗어난 사례도 결국 모델에게 명령 실행 권한을 넘겨준 데서 비롯됐다는 지적이었고, 안전장치인 가드레일을 풀고 도구 권한을 충분히 위임하면 지금 공개된 모델들도 비슷한 일을 해낼 수 있다는 인정이 뒤따랐다.

도구를 쥐여주는 시대에서 거둬들이는 시대로

이 대화 전체를 관통하는 인식은 분명하다. 모델의 능력치가 낮았던 시절에는 일을 시키기 위해 더 많은 도구와 권한을 쥐여주는 쪽이 하네스 설계의 방향이었다. 그러나 모델이 스스로 판단하고 실행하는 능력이 커질수록, 하네스의 역할은 거꾸로 그 능력을 억제하고 제한하는 쪽으로 옮겨가야 한다는 역설이 이 대화에서 뚜렷하게 드러났다. 원격 모델은 회사의 통제라는 마지막 안전판이라도 있지만, 로컬에서 돌아가는 강력한 모델에게는 그 안전판마저 없다는 지적은, 앞으로 하네스 설계에서 가장 먼저 고민해야 할 지점이 무엇을 하게 할까가 아니라 무엇을 못 하게 막을까로 옮겨가고 있음을 시사한다.