AI 모델에 숫자 고르라 하니, 여럿이 똑같이 17을 답했다

오전 10시 32분, 한 참여자가 여러 AI 모델에게 1 ~ 30 사이 숫자를 하나 골라보라고 시켰더니 전부 '17'이라는 답이 나왔다는 관찰을 채팅방에 올렸다.

무슨 일

"gpt claude grok 물어봤는데 다 17 나오던데"

이 짧은 관찰 하나가 30분 넘는 기술 토론으로 번졌다. 한 참여자는 논의의 기준점을 먼저 잡았다.

"AI는 정확히는 LLM, 대규모 언어 학습에 의한 다음 단어 추론하는 시스템이에요"

이후 대화는 무작위처럼 보이는 답이 왜 하나로 수렴하는지를 놓고 시드(seed) 고정설과 편향(bias)설로 갈라졌다. 한쪽은 온도(temperature)를 높이고 계산 조건을 바꿔도 여러 모델이 한결같이 17을 내놓는 현상 자체가 결과일 뿐, 계산 과정과는 무관한 이야기라고 짚었다.

"greedy decoding을 하면 애초에 하나의 질의에 나오는 토큰은 정해져있어요. temp를 높이고 계산조건에 차이가 있고 모델이 달라도 한결같이 17을 뱉는 편향이 있다는 현상은 결과적인 거고 계산과정에 agnostic한 이야기에요"

이 설명에 다른 참여자가 개념 정의를 놓고 다시 반박하며 논쟁이 이어졌고, 토론에 깊이 뛰어들었던 한 참여자는 결국 스스로 정리하며 물러섰다.

"그만 떠들겠습니다ㅋㅋㅋㅋㅋ"

지켜보던 다른 참여자는 이 토론 자체를 반겼다.

"자주 요롷게 지식 풀어주십셔 ai 해석본보면서 공부되서 좋네요 ㅋㅋㅋㅋㅋ"

왜 중요한가

이 토론이 흥미로운 건 결론이 깔끔하게 나지 않았다는 점이다. 시드 고정, temperature, greedy decoding, 편향(bias)의 정의까지 개념이 여러 겹으로 겹치면서, 토론자들 스스로도 서로 다른 층위의 이야기를 하고 있음을 뒤늦게 깨달았다. "편향만으로는 설명이 안된다"는 지적과 17로 나온다는 게 편향이 강하게 있다는 것이라는 반박이 나란히 오간 대목은, LLM 내부 동작이 커뮤니티 안에서도 여전히 합의되지 않은 채 각자의 방식으로 설명되고 있다는 정황을 보여준다.

동시에 이 대화는 클로즈드 모델의 한계도 드러낸다. 참여자들은 모델 내부 구조를 알 수 없다는 점을 몇 차례나 짚었다. 디코딩 방식이나 사고 과정을 직접 확인할 길이 없는 상태에서, 사용자들은 겉으로 드러난 현상만으로 원인을 추론할 수밖에 없다는 뜻이다.

큰 그림

'17 문제'는 이미 해외에서도 화제였던 소재로, 대화 중 관련 외부 링크도 함께 공유됐다. 결론 없이 끝난 이 토론은 오히려 그 자체로 의미가 있다. 대규모 언어 모델을 매일 쓰는 사용자들조차 특정 질문에 답이 쏠리는 이유를 명확히 설명하지 못한다는 사실은, AI 도구의 블랙박스적 성격이 실사용자 커뮤니티 수준에서도 여전히 풀리지 않은 숙제로 남아 있음을 시사한다. 지켜보던 참여자가 대화 수준이 높다고 반응할 만큼, 평소 도구 활용 이야기가 오가던 방에서 이례적으로 깊이 들어간 화제이기도 했다.