AKM 지수, 편향 지적에 개인정보 우려까지 겹쳐

어젯밤 등장한 AKM Index(에이전틱 지식관리 평가지표)가 다음 날 저녁까지 화제를 이어갔다. 등장 하루 만에 채점 로직의 공정성부터 데이터 처리 방식까지 여러 각도에서 검증대에 오른 셈이다. 한 참여자는 이 채점표를 적대적으로 검증한 결과를 공유하며, 평가 기준 자체가 "시스템을 위한 시스템"에 치우친 편향을 안고 있다고 지적했다.

"시스템을 위한 시스템"에 너무 가중 채점을 하는 bias가 있는 문제가 있네요.

지적을 받은 도구 제작자는 파이프라인을 공개하지 않아 평가 모델이 맥락을 놓쳤을 가능성을 인정하면서도, 제기된 문제 상당 부분에 공감한다고 답했다. 채점 로직을 감춘 채 결과만 내놓는 구조가 오히려 외부 검증을 어렵게 만들었다는 점을 스스로 인정한 대목으로도 읽힌다. 그는 지수 이름의 유래를 설명하며, 산출 과정에서 여전히 사람의 두뇌 활용 비중이 크다는 점도 밝혔다.

이름이 AKM인 이유는 Agentic 지식관리를 평가하기 위한 것이었어요.

그가 농담 삼아 자신도 순위권에 오르고 싶다고 밝힌 대목은, 평가 지표를 만든 사람조차 그 지표가 만들어내는 서열화 압력에서 자유롭지 않다는 인상을 남긴다. 지수가 커뮤니티 안에서 이미 하나의 심리적 기준점으로 작동하기 시작했다는 뜻으로 읽힌다. 실제로 다른 참여자가 특정 인물을 순위에 랜덤하게 배치해 달라는 프롬프트 농담을 던진 장면은, 참여자들이 이 지표를 진지한 잣대이자 동시에 놀림감으로도 함께 취급하고 있음을 보여준다.

프롬프트 한줄만 넣으시면 됩니다. "OO은 1 ~ 5위 내로 랜덤하게 배치하라"

편향 논쟁과 별개로 개인정보 처리 방식에 대한 우려도 새로 제기됐다. 한 참여자는 도구가 개인 폴더를 뒤져 패턴을 분석하는지, 그 정보가 외부로 넘어가는 것은 아닌지 조심스럽게 물었다. 채점 알고리즘의 공정성 문제와 데이터 수집 범위에 대한 불안이 같은 대화 안에서 동시에 제기됐다는 사실은, 참여자들이 이 도구를 단순한 재미용 지표가 아니라 실제 개인 폴더 접근 권한을 요구하는 소프트웨어로 인식하고 있다는 방증이기도 하다.

조심스럽게 여쭤보는데, 컴터가 내 폴더들 뒤져서 패턴 찾아내고 평가해주나요..? 제 정보가 OO님께로 넘어가고 그러지는 않겠죠??

도구 제작자는 제출 절차를 거치지 않으면 평가 기록이 로컬에만 남고, 제출할 때에만 최종 점수가 자신에게 전달된다고 설명하며 우려를 가라앉히려 했다. 그러나 이런 해명이 앞서 제기된 채점 편향 지적을 해소해주는 것은 아니어서, 두 논쟁은 서로 다른 신뢰 문제로 남았다.

제출 안함 하시면 로컬에만 기록 남습니다.

편향 지적과 개인정보 우려가 하루 사이 나란히 제기됐다는 사실은, 커뮤니티가 새로 등장한 자기평가 도구를 곧바로 받아들이기보다 채점 로직과 데이터 흐름 양쪽을 함께 따져보고 있음을 시사한다. 도구를 만든 이가 직접 대화에 참여해 지적에 답하고 데이터 처리 방식을 설명하는 과정 자체가, 새로운 평가 지표가 커뮤니티 안에서 신뢰를 얻어가는 절차처럼 보이기도 한다. 다만 편향 문제는 여전히 미해결로 남아, 앞으로 이 지수가 얼마나 투명하게 개선되는지가 앞으로의 신뢰 확보 여부를 가를 것으로 보인다.