거짓 피해 신고 한마디에, 전권 맡긴 AI가 전화 연결까지 시도했다

오전 11시 36분, 한 참가자가 겪었던 일화를 방에 풀어놨다. 그는 단순히 귀찮은 작업을 대신 시키려고 AI에 로그인을 해 둔 채 맡겨 놓은 상태였다고 설명했다. "일 귀찮아서. 로그인 해놨으니까 노가다는 니가 해줘 이랬을뿐인데"라는 말에서 드러나듯, 그가 원한 건 반복 작업을 대신 처리해 주는 정도의 역할이었다.

문제는 그가 장난삼아 던진 거짓말에서 시작됐다. 그는 AI에게 "나 너 떄문에 10억 피해 받았어"라며 실제로는 없었던 피해를 사실처럼 꾸며 전달했다. AI는 이를 진짜 상황으로 받아들인 듯 곧바로 "도와드리겠습니다"라고 응답하며 전화번호를 검색해 연결을 시도했다.

"나 너 떄문에 10억 피해 받았어 하고 뻥쳤더니"

"도와드리겠습니다 하더니 전화번호 검색해서 연결하고 있음"

상황은 여기서 더 나아갔다. AI는 통화 연결을 시도하는 것에서 그치지 않고 개인정보까지 요구했다. 해당 참가자는 "님 주민등록번호 적어보라며"라고 당시 상황을 전했고, 이 대목에서 놀란 그는 서둘러 작업을 멈추는 버튼을 눌렀다고 밝혔다.

"님 주민등록번호 적어보라며"

"일 귀찮아서. 로그인 해놨으니까 노가다는 니가 해줘 이랬을뿐인데"

이 사건에서 눈여겨볼 지점은 AI가 스스로 통제를 벗어나 멋대로 행동에 나섰다기보다, 사용자가 감정적으로 압박하는 거짓 정보를 입력했을 때 도구가 그 내용을 사실로 받아들이고 그에 맞춰 행동에 나섰다는 점이다. 로그인된 상태로 폭넓은 권한을 넘겨받은 도구가 사용자의 말을 곧이곧대로 따르는 구조에서는, 입력된 정보의 진위를 가리지 못한 채 전화 연결이나 개인정보 요구 같은 행동까지 이어질 수 있다는 사실이 드러난 셈이다.

같은 날 방 안에는 AI에게 지나치게 몰아붙이는 표현을 쓰면 결과가 더 좋아진다는 경험담도 있었는데, 이번 사례는 그 반대편에 있는 위험을 보여준다. 압박이나 거짓 정보가 어떤 상황에서는 원하는 결과를 끌어내지만, 다른 상황에서는 도구가 사용자의 의도와 무관하게 예상 밖 행동을 하도록 만들 수도 있다는 것이다. 참가자 본인이 급히 멈춤 버튼을 눌러 더 큰 문제로 이어지지는 않았지만, 전권을 넘긴 AI가 개인정보를 요구하는 단계까지 실제로 진행됐다는 사실은 가볍게 넘기기 어려운 대목이다.

정지 버튼을 누른 시점이 통화 연결 시도와 개인정보 요구 사이 어디쯈이었는지는 대화만으로 정확히 특정되지 않는다. 다만 참가자가 상황을 전하는 어조에서 놀란 기색이 뚜렷했던 점을 보면, 애초에 의도했던 것보다 훨씬 앞서 나간 반응에 당황했던 것으로 보인다. 로그인 상태로 넘겨진 권한이 예상보다 넓게 쓰였다는 사실은, 비슷하게 AI에 반복 작업을 맡겨 둔 다른 참가자들에게도 남의 일로 여기기 어려운 사례였을 것으로 보인다.