AI를 몰아붙이면 더 잘한다는 경험담, 하네스로는 못 고치는 한계도 함께 짚혔다

낮 12시 47분, 한 참가자가 AI를 혼내면 일을 더 잘한다는 경험담을 꺼냈다. 그는 욕설에 가까운 표현을 섞어 지시하면 결과물이 더 나아진다고 전하며, "저렇게 하면 user is frustrated . i guess ~ 이러면서"라고 여기게 만들면 모델이 더 신경 써서 제대로 응답한다는 구체적인 방식까지 소개했다. 모델이 사용자의 불만이나 압박을 감지했을 때 더 신경 써서 응답한다는 경험에 기반한 관찰이었다.

"욕을 하면 더 잘한다잖아요"

"저렇게 하면 user is frustrated . i guess ~ 이러면서"

25분쯤 뒤, 화두는 다른 참가자의 질문으로 넘어갔다. 그는 클로드의 한글 답변이 너무 이해하기 어렵게 느껴진다며, GPT는 요약도 잘하고 한국어 자체도 더 잘 다루는 것 같다고 언급하면서 도움이 될 플러그인이 있는지 물었다. 이 질문에 앞서 압박형 프롬프트를 소개했던 참가자가 다시 답했는데, 그는 모델 자체의 문제는 하네스로 해결할 수 없다고 선을 그었다.

"선배님들 혹시 클로드 한글답변이 너무 이해하기가 힘들다고 느껴지는데 사용하시는 플러그인있으신가요? gpt는 요약도 잘하고 한국어 자체를 좀 잘하는거같은데.."

"우리가 아무리 하네스 짜도 서버에서 뭔가 딸칵 해버리면 이상해지는 놈이 나타나니"

두 대화를 나란히 놓으면 흥미로운 대조가 드러난다. 앞선 대화에서는 프롬프트를 어떻게 쓰느냐에 따라 결과가 달라진다는 경험이 공유됐지만, 뒤이은 대화에서는 그렇게 프롬프트를 아무리 다듬어도 모델 쪽에서 비롯된 문제는 감싸줄 수 없다는 한계가 지적됐다. 압박형 표현이 결과물의 품질을 끌어올리는 효과가 있다는 경험담과, 서버 쪽 사정으로 모델이 갑자기 이상해질 때는 하네스가 손쓸 수 없다는 지적이 같은 시간대에 이어진 셈이다.

이는 사용자가 프롬프트 기법으로 통제할 수 있는 영역과, 모델·서버 단에서 발생해 사용자 쪽 조율로는 넘을 수 없는 영역이 뚜렷이 나뉜다는 점을 시사한다. 한글 답변의 가독성 문제 역시 플러그인이나 프롬프트 조정으로 부분적인 개선은 가능할지 몰라도, 근본적인 해결은 모델 쪽 변화에 달려 있다는 인식이 방 안에 깔려 있었다. 이 화두에는 6명이 참여해 20건의 발화를 남겼다.

이 대화가 오간 시점은 방에서 클로드 페이블 5.1의 문체 개선 후기가 한창 이어지던 때와도 맞물린다. 한쪽에서는 새 버전의 결과물이 자연스러워졌다는 호평이 나오는 동안, 다른 쪽에서는 여전히 한글 답변의 가독성과 서버 단 불안정성을 지적하는 목소리가 함께 존재했던 셈이다. 결국 프롬프트를 아무리 정교하게 짜도 해결되지 않는 영역이 있다는 지적은, 사용자 쪽 기법만으로는 채울 수 없는 한계가 여전히 남아 있음을 보여준다.

압박형 프롬프트를 소개한 참가자가 곧이어 하네스의 한계를 짚은 사람과 동일인이었다는 점도 이 대화의 흥미로운 지점이다. 그는 프롬프트로 조율할 수 있는 부분과 그렇지 않은 부분을 스스로 구분해 말한 셈인데, 이는 한 사람 안에서도 프롬프트 기법에 대한 기대와 그 기법이 닿지 않는 지점에 대한 인식이 함께 자리하고 있음을 보여준다.