GPT 사이트 기능으로 만든 복지 상담 MCP 사례

23일 오후 1시 무렵, 공공AX 네트워크에서 한 참가자가 전날 있었던 시도 하나를 털어놓았다. 어제 이른바 리셋 파티를 하면서 복지 온톨로지, 곧 복지 정보를 개념과 관계로 구조화하는 작업을 해 보았다는 것이다. 결과는 기대와 달랐다. 새로 만든 쪽이 복지 MCP의 현재 버전보다 정확도가 낮아졌고, 그래서 뜯어고치는 중이라고 했다. MCP는 대화 문맥상 챗봇이 외부 데이터에 접속하도록 내어 주는 연결 창구를 가리키는 것으로 보인다. 이 토픽은 이 참가자 한 명과 질문을 던진 다른 참가자 한 명, 둘의 대화로 이뤄졌다.

어째서인지 복지mcp 현재버전보다 정확도가 낮아져서 뜯어고치는중...

만든 사람이 설명한 구조

다른 참가자가 MCP 서버로 데이터를 정리해 출력하는 것인지, 어떻게 구현했는지 물었다. 만든 참가자는 GPT 구독에 포함된 site 기능을 쓴다고 답했다. 그 기능으로 대시보드 웹사이트를 만들고, 거기에 쓴 데이터베이스를 온톨로지와 비슷한 구조로 짠 다음, MCP 엔드포인트를 만들어 개인 구독 계정에 연결할 수 있게 제공한다는 설명이다. 서버 자체는 site 기능이 제공하는 클라우드플레어 서버에 들어 있다고 했다.

gpt site 기능으로 gpt 구독제에 포함된 웹사이트를 사용할 수 있습니다.

mcp 서버는 gpt site에서 제공하는 클라우드플레어 서버에 들어있구요

여기까지는 모두 만든 참가자 본인의 설명이다. 이 기능의 요금이나 한도 같은 제품 정보는 대화에 나오지 않았고, 그래서 이 글도 다루지 않는다.

정확도 점검에 쓴 질문 세트

정확도 점검 방식도 이 참가자가 직접 설명했다. 테스트 질문은 정부 복지 상담 전화의 자주 묻는 질문 게시판에서 788개를 발췌하고, 복지부의 복지 매뉴얼 PDF 100여 개 안의 자주 묻는 질문을 파싱해 보탰다고 했다. 그렇게 모은 질문 세트가 1900개 정도라는 것이다. 이어 어사이드라는 도구를 이용해 퍼플렉시티와 GPT로 실제 답변을 테스트했다고 했다.

그래서 질문세트가 1900개 정도

정확도가 얼마나 낮아졌는지, 비교 기준이 무엇인지 같은 수치는 대화에 나오지 않았다. 알 수 있는 것은 만든 참가자가 기존 버전과 새 구조의 답변을 비교해 낮아졌다고 판단했고 수정에 들어갔다는 데까지다.

질문한 쪽의 물음과 답

질문한 참가자는 gpt site가 트래픽이 많아지면 사이트를 닫는다고 들었다며 물었다. 이는 질문자가 전해 들은 이야기이고, 사실 여부는 대화에서 확인되지 않았다. 만든 참가자는 트래픽이 별로 없다며, 하루 접속이 100 ~ 200명이고 MCP 호출은 100건 안팎이라고 답했다.

하루 100 ~ 200명 접속에 mcp호출도 100건 내외

질문한 참가자는 이어 일반 챗봇에 MCP를 연결해 답하게 하는 것이냐고 물었다. 만든 참가자는 MCP 연결만 되면 개인 구독 GPT, 클로드, 제미나이는 물론 웍스AI 같은 기관용 챗봇에서도 쓸 수 있다고 답했다. 기관용 챗봇은 기관 관리자가 기관에 MCP를 등록해 줘야 쓸 수 있다는 조건을 붙였다.

mcp 연결만 되면 웍스AI 챗봇이나 개인구독 gpt, claude, gemini 다 사용가능하죠

관리 기능은 관리자 메뉴를 따로 만들어 쓰고 있다고 했다. 기본 기능만으로는 다 커버가 안 된다는 이유였다. 질문한 참가자는 사이트로 데이터 관리까지 할 수 있다는 점이 편하고 좋아 보인다고 반응했고, 나중에 site 기능을 이렇게 알차게 쓰는 사람은 처음 본다고 덧붙였다. 이 평가는 구축 방식에 대한 인상이며, 답변 정확도에 대한 평가는 아니다.

사례에서 읽을 점

이 사례에서 눈에 띄는 것은 결과보다 점검 과정이 같이 공개됐다는 점이다. 새 구조가 더 나아지리라는 기대와 달리 정확도가 낮아졌다는 말이 함께 나왔고, 무엇으로 시험했는지가 질문 세트의 출처와 규모로 설명됐다. 한 참가자의 구축 경험이라 다른 기관이나 다른 데이터에 그대로 옮길 수 있는지는 알 수 없다. 운영 규모가 하루 100 ~ 200명이라는 말에서 보듯 아직은 작은 규모의 이야기이고, 그 범위 안에서 읽어야 한다.