AI에게 물리 마우스를 쥐여주다... 오픈소스 KVM으로 컴퓨터 원격 조작 실험

16일 낮 한 AI 개발자 커뮤니티에서는 오픈소스 원격 제어 하드웨어인 JetKVM을 활용해 AI 에이전트에게 실제 컴퓨터 조작을 맡기는 실험 사례가 소개되며 관심을 모았다. JetKVM은 모니터·키보드·마우스를 네트워크를 통해 원격에서 그대로 제어할 수 있게 해주는 소형 오픈소스 하드웨어로, 물리적으로 컴퓨터 앞에 있지 않아도 마치 직접 앉아 조작하는 것과 같은 환경을 만들어준다.

이 실험을 소개한 한 회원은 기기를 직접 분해해 AI 에이전트와 연결한 뒤 "실제 물리마우스랑동일함"이라고 사용 소감을 전했다. 소프트웨어적으로 화면을 캡처하고 클릭 좌표를 흉내 내는 기존 방식과 달리, 하드웨어 단에서 직접 마우스·키보드 신호를 흉내 내다 보니 운영체제나 애플리케이션의 제약을 거의 받지 않는다는 설명이었다. 이를 지켜본 다른 참여자는 "진짜 computer use 군요"라며 AI가 화면을 보고 실제 입력 장치를 조작하는 이른바 '컴퓨터 사용(computer use)' 기능의 실전 사례로 평가했다.

특히 눈길을 끈 대목은 운영체제가 아예 뜨지 않는 상황까지 AI 에이전트가 대응할 수 있다는 점이었다. 소개자는 "이게 kvm 이 좋은게 뭐냐면 gpt 5.6 sol 같은경우 컴퓨터유즈가 기가막혀서 바이오스 세팅이 되어요"라고 설명했다. 소프트웨어가 아직 부팅되기 전 단계인 바이오스(BIOS) 화면까지 AI가 인식하고 설정을 조작할 수 있다는 것으로, 원격 하드웨어 복구나 서버 관리 등 기존에는 사람이 직접 현장에 가야 했던 작업까지 AI에게 맡길 수 있는 가능성을 시사한다.

대화는 실용적인 활용 아이디어로도 확장됐다. 한 참여자는 "그 외부에서 컴 멈추거나 할때 스마트플러그랑 kvm 달아두면 관리가능하다길래 살까하다가.."라며 컴퓨터가 멈추거나 꺼졌을 때 스마트플러그로 전원을 원격 재기동시키는 조합에 관심을 보였다. 소개자는 한발 더 나아가 "안드로이드폰 루팅하시면 전화앱도 인터셉트해서 일레븐렙스 붙이실수있어요"라며 루팅한 스마트폰과 음성 합성 기술을 결합해 전화 응대까지 자동화할 수 있다는 아이디어를 제시했다.

이런 하드웨어 기반 원격 제어 실험이 주목받는 이유는, 소프트웨어 자동화만으로는 접근할 수 없던 영역까지 AI 에이전트의 활동 범위를 넓혀준다는 데 있다. 운영체제가 멈추거나 네트워크 자체가 끊긴 상황에서도 물리적인 신호 입력을 흉내 낼 수 있다는 점은, 그동안 사람이 반드시 현장에 있어야 했던 서버 관리·장애 복구 업무의 상당 부분을 원격으로 위임할 수 있는 가능성을 열어준다는 평가로 이어진다.

AI 에이전트의 활동 범위가 화면 안 소프트웨어를 넘어 실제 하드웨어와 통신 영역까지 뻗어나가고 있다는 점을 보여준 대화였다. 다만 이런 실험은 대부분 개인 취미 프로젝트 수준에서 이뤄지는 것으로, 실제 업무 환경에 적용하려면 보안·안정성 측면의 추가 검증이 필요하다는 점도 함께 언급됐다.