GPT는 직접 쓰면 답답하다는 말과 역할 분담

오늘 오후, 에이전트코리아에 한 참가자가 짧은 질문을 올렸다. 요즘 GPT가 멍청해진 걸 실감하는 분이 있느냐는 것이었다.

요즘 gpt 멍청해진거 실감하시는 분 계신가요..

대화는 이 질문에서 시작해 GPT를 어떻게 쓰는 편이 나은가로 옮겨 갔다. 이날 대화에서는 GPT와 코덱스가 함께 거론됐다. 코덱스는 대화에서 GPT를 바탕으로 한 코딩 작업 도구로 거론된 이름이고, 대화 안에서 따로 정의되지는 않았다.

클로드를 쓰다가 GPT로 넘어가면

답답함을 먼저 털어놓은 사람은 다른 참가자였다. 이 참가자는 GPT를 쓸 때마다 열이 받는다고 했고, 이유를 묻는 말에 클로드를 쓰다가 넘어가면 답답하다는 느낌이라고 적었다.

클로드쓰다가 쓰면 웰케 답답하지 이런느낌

또 다른 참가자는 이를 GPT의 특징으로 설명했다. GPT는 클로드처럼 알아서 작업 과정을 설계해 주지 않고, 또 하라고 해도 하나만 한다는 것이다.

또 하라고해도 하나만하는

이 참가자는 한 걸음 더 나가 추측도 덧붙였다. 코덱스 자체에 사용자가 요청한 대로 그대로 해 주지 말라는 식의 장치가 걸려 있을지도 모른다는 말이었다. 스스로 농담 섞어 던진 추측이고, 근거가 제시되지는 않았다.

사용자가 아무리 요청해도 그걸 그대로 해주지마 같은?

클로드에서 GPT를 부르는 쪽

답답함을 말한 참가자는 해법도 같은 줄에서 내놓았다. 클로드 안에서 GPT의 명령줄 도구, 곧 CLI를 부르는 방식이 가장 낫다는 것이다. CLI는 터미널에서 글자 명령으로 돌리는 도구를 뜻한다.

클로드에서 gpt cli 호출하는게 제일 낫긴함

이 참가자는 이어서 GPT의 자리를 서브에이전트로 정했다. 서브에이전트는 메인 AI가 일부 작업을 떼어 맡기는 보조 AI를 말한다.

gpt 너는 서브에이전트가 딱이야

이 말에 앞서 특징을 설명하던 참가자는, 작업 지침의 우선권이 클로드 쪽에 있다고 풀었다. 그 참가자는 CLI로 부르면 플러그인 같은 것은 무시되고 CLI에 설정된 것만 적용된다는 취지로 말했다. 다만 이 설명이 어떤 환경을 기준으로 한 것인지는 대화에 적혀 있지 않다.

40분 남짓 지난 뒤 또 다른 참가자는 하네스, 곧 모델에 도구와 규칙을 붙여 돌리는 실행 틀의 이야기로 같은 방향을 말했다. GPT는 클로드 코드로 읽히는 클코나 다른 하네스에서 부르는 용도로만 쓰고, 직접 대화하면 답답하기만 한 듯하다는 것이다.

GPT는 클코나 다른 하네스에서 부르는 용도로만 대화해야지 직접 대화하면 답답하기만 한듯요

코덱스의 장점을 짚은 사람은 처음에 답답함을 말한 참가자였다. 리버스 엔지니어링을 해 준다는 점이고, 클로드는 이를 거부한다고 했다.

그래도 코덱스 장점 리버스엔지니어링 해줌

클로드는 거부함

이 참가자는 또 코덱스 사용량이 다시 복구돼서 가성비는 코덱스가 더 낫다고도 했다. 모두가 같은 결론은 아니었다. 또 다른 참가자는 GPT에 대해 한 줄로 별로라고 적었고, 다른 참가자는 예전에 코덱스만으로 작업해 본 뒤 성향이 맞지 않는다고 느꼈다고 말했다. 후자는 나쁘다는 뜻은 아니라고 선을 그었다.

안좋은건 아닌데.. 걍 나랑 성향이 안맞음

이어진 역할 분담

50분쯤 뒤인 14시 40분 무렵에는 쓰는 방식이 구체적인 분담 이야기로 바뀌었다. 앞서 코덱스와 성향이 맞지 않는다던 참가자는 클로드를 쓰다 한도가 다 돼 코덱스로 옮겼다고 했다. 이어 오케스트레이션 수정에만 27시간쯤 쓰고 주간 한도를 다 쓴 채 전사했고 일은 시작도 못 했다는 이야기를 적었다. 이 문장의 주어가 본인인지 코덱스 쪽 에이전트인지는 적힌 말만으로 가려지지 않는다.

오케스트레이션 수정을 27시간정도하고 장렬히 주간한도 다쓰고 전사하심

일은 시작도 안함

앞서 한 줄로 별로라고 적은 참가자는 코덱스를 명령 한 줄로 작업을 쏘아 보내는 발사대에 빗댔다. codex exec는 코덱스에 명령 한 줄로 일을 시키는 방식으로 쓰인 말이다. 이 참가자는 그 발사대를 클로드가 몇 개 돌려 보게 하는 그림을 말했다.

codex exec 발사대

클로드야 그거 몇개좀 돌려보렴

앞서 한도 이야기를 한 참가자는 여기에 자신이 가장 자주 쓰는 방식을 얹었다. 자료 조사는 끝까지 긁어 오게 하고 보기 좋게 정리만 시킨 다음, 내용 검수는 클로드에게 시킨다는 것이다. 지시를 받는 쪽이 코덱스라고 직접 적지는 않았지만, 앞뒤 흐름상 그렇게 읽힌다.

야 자료 조사 끝까지 긁어와.. 보기 좋게 정리만 하고, 내용검수는 클로드 시켜

이거.. 제일 많이함

같은 참가자는 코덱스에게 의견은 받지 않고 자료 조사만 하게 한다는 말도 덧붙였다. 그 뒤 또 다른 참가자가 자기는 다중 평가 때와 잡일에 쓴다고 했는데, 무엇을 가리키는지는 문장에 적혀 있지 않다.

읽는 법

이날 대화에서 겹친 부분은 두 가지다. 직접 대화하는 상대로는 답답하다는 쪽과, 다른 도구 안에서 일을 떼어 맡기는 용도로 쓰면 낫다는 쪽이다. 다만 앞의 답답함은 한두 사람의 체감이고, 분담 방식도 각자 자기 작업에서 쓰는 조합을 말한 것이다. 모델 성능이 실제로 떨어졌는지는 대화에서 확인되지 않았다.