LLM은 예측 불가능한 확률 기계 — 몇천 번 테스트로 길들이기

8월 29일 밤 11시 7분, 에이전트코리아방에서 한 개발자 참가자가 LLM을 바라보는 자신의 관점을 길게 풀어냈다. "콜로드가 잘못하는걸 문제해결관점에서 보면 LLM이라는 랜덤박스가 작동하는 거에 대한 결과를 판단하는건 f(x) = y 에대한 y값에 대한 피드백인데"라며, 클로드가 잘못하는 지점을 확률적 랜덤박스가 내놓는 결과에 대한 피드백으로 판단해야 한다는 설명이었다.

무슨 일

이 설명에 다른 참가자가 훨씬 직관적인 비유로 맞장구를 쳤다.

"어제도 늘할말 진짜 개소리를 많이하는 랜덤주사위라"

같은 현상을 정색한 확률 모델로 설명하는 방식과, 거칠지만 체감에 가까운 표현으로 요약하는 방식이 나란히 나온 셈이다. 이어 밤 11시 16분 개발자 참가자는 실천적인 지침도 덧붙였다. "작은 작업단위는 구어체로 지시해도 되지만, 특정룰이나 대규모 작업을 하는 경우엔 사람이 하는 프롬프트도 AI처럼 할 필요가 있습니다"라며, 작은 일은 편하게 말해도 되지만 규칙이 필요한 큰 작업일수록 AI가 해석하기 좋은 구조로 프롬프트를 짜야 한다고 강조했다. 밤 11시 31분에는 또 다른 참가자가 이 판단 자체도 "확률적으로 판단해야 합니다"라고 짚은 데 이어, 13초 만에 할루시네이션을 줄이려면 선택지 자체를 줄여야 한다는 정리까지 잇따라 내놓았다. 밤 11시 38분 대화 말미에는 "하네스는 10시간이상 작업할 수 있는 구조가 되기도 합니다"라는 언급도 나왔다.

왜 중요한가

이 대화는 LLM을 다루는 두 가지 언어가 이 방 안에서 자연스럽게 공존한다는 것을 보여준다. 하나는 f(x)=y 피드백 구조 같은 공학적 언어이고, 다른 하나는 '개소리 많이 하는 랜덤 주사위' 같은 직관적 언어다. 두 언어가 가리키는 결론은 같다. LLM의 출력은 결정론적이지 않고, 사람이 원하는 결과를 얻으려면 몇천 번의 테스트를 거쳐 최적화하는 수밖에 없다는 것이다. 구어체로 지시해도 되는 작은 작업과, AI처럼 구조화해서 지시해야 하는 큰 작업을 구분한 것도, 확률 기계를 다루는 데는 상황에 따라 다른 층위의 언어가 필요하다는 인식을 보여준다.

시사점

여기서 나온 '선택지를 줄여야 할루시네이션이 준다'는 정리는 특히 실용적이다. 이는 프롬프트 설계의 방향이 더 자유롭게 말하기가 아니라 더 좁게 제한하기로 향하고 있다는 뜻으로 읽힌다. 하네스가 10시간 이상 작업할 수 있는 구조로 발전하고 있다는 언급까지 더하면, 이 방의 논의는 확률 기계를 다루는 법이 감에서 방법론으로 옮겨가는 과정을 보여주는 것으로 보인다. 결국 '개소리를 많이 하는 랜덤 주사위'라는 거친 비유와 '몇천 번 테스트로 최적화한다'는 현실적인 대응이 같은 대화 안에 있었다는 것은, 이 방 참가자들이 LLM의 한계를 감정적으로 받아들이기보다 다룰 수 있는 대상으로 취급하고 있음을 보여준다.