AI 안전진단 데이터셋 'AX-RAY' 허깅페이스 공개

8월14일 낮, 한 참여자가 다른 참여자와의 대화에서 '인과누설(Causal Leakage)' 개념을 설명했다. "크리티컬 1번황이 인과누설이고요. 이게 소위 말해 왜 로봇이 인간을 공격하고 모델이 가이드레일을 뚫고 해킹을 하는지에 대한 직접적 인과관계 증빙하는거에요"라는 설명이다. 단순히 위험 행동과 상관관계가 있다는 수준이 아니라, 그 행동이 일어나는 직접적 인과 경로를 짚어낸다는 취지로 읽힌다.

40여개 모델 진단, 오픈 LLM 2종에서 첫 발견

이어 그는 자신이 만든 AI 안전 진단 평가 데이터셋을 모델·데이터셋 공유 플랫폼인 허깅페이스(Hugging Face)에 공개했다고 밝혔다. "AI(모델/AX 인프라/하네스) 안전 진단 평가 데이터셋을 오늘 허깅페이스에 공개했습니다. 현재 40여개 주요 모델에 대한 진단 결과가 공개되었고, 범용 오픈 LLM 대상 최초로 '인과 누설' 취약점 모델 2종(엔비디아 네모트론 포함)이 발견되었습니다"라는 설명이었다.

40여개 모델을 한 번에 진단했다는 규모, 그리고 그 결과가 폐쇄형이 아닌 오픈 LLM에서 처음 나왔다는 점은 눈여겨볼 대목이다. 오픈소스로 공개된 모델일수록 이런 정밀 진단을 거칠 기회가 상대적으로 적었을 가능성을 시사하며, 이번 공개가 그 공백을 메우는 시도로 읽힐 수 있다.

오후에는 그가 "허깅페이스 데이터셋 전체 인기순위 5위 랭크. 공개한지 불과 몇시간만에 기록적인 상승세인것을 보니 'AI 안전 진단 평가'에 대한 관심이 높은게 맞나 봅니다"라고 다시 전했다. 공개 몇 시간 만에 나온 순위 상승은 벤치마크 성능 경쟁 못지않게 안전성 진단 자체에 대한 관심이 커지고 있다는 신호로 볼 수 있다.

소수의 대화에서 나온 결과물

이 소식에 직접 반응한 인원은 많지 않았다. 하지만 대화에 참여한 인원이 적었다는 사실이 결과물의 무게를 줄이지는 않는다. 오히려 인과누설이라는 구체적인 개념을 설명하는 데서 시작해, 실제로 40여개 모델을 진단한 데이터셋 공개로 이어지고, 몇 시간 만에 허깅페이스 인기 순위 5위까지 오르는 결과로 마무리되는 흐름은, 소수의 심화 대화가 방 바깥의 반응으로 확장된 사례로 볼 수 있다.

가드레일을 뚫는 경로를 짚었다는 것

AI 모델이 가드레일, 즉 위험한 행동을 막기 위해 설정된 안전장치를 우회하는 현상은 그동안 결과로만 보고되는 경우가 많았다. 이번에 공유된 설명은 그 결과가 나오기까지의 인과 경로 자체를 짚어냈다는 점에서 다르다. 그가 공개 소식을 전하며 "AI(모델/AX 인프라/하네스)"라고 진단 범위를 밝힌 대목도 눈에 띈다. 모델 자체뿐 아니라 그 모델을 감싸는 인프라와 실행 틀(하네스)까지 함께 들여다봤다는 뜻으로, 안전 진단의 범위를 모델 단독이 아니라 시스템 전체로 넓혀 잡았다는 것을 짐작하게 한다.

개인 혹은 소규모 단위에서 자체 진단 도구를 만들어 공개하는 이런 흐름이 앞으로도 이어질지는 지켜볼 만하다. 40여개 모델을 한 번에 검증하는 작업과 그 결과를 데이터셋 형태로 공개하는 절차가 특정 기업이 아닌 개인 참여자 수준에서도 가능해졌다는 사실 자체가, AI 안전 진단이라는 영역의 진입 장벽이 낮아지고 있다는 정황으로 읽힌다.