통계 분석을 AI에 맡겨 본 참가자의 대조 결과

오늘 오후 에이전트코리아에 한 참가자가 짧은 감탄을 올렸다. 보고서를 쓰면서 분석 일곱 개쯤을 돌려 봤고, 같은 분석을 Stata do 파일로 돌린 방식과 AI에게 맡긴 방식으로 각각 돌려 결과를 견주었다는 내용이다. 대화는 보고서를 쓴 참가자와 곧바로 끼어든 다른 참가자, 두 사람이 이어 갔다. 아래에서는 말한 사람이 바뀔 때마다 주어를 나누어 적는다.

Stata 결과와 AI의 결과가 맞았다

보고서를 쓴 참가자는 먼저 이렇게 적었다.

와 웬만한 통계 분석… 이제 그냥 맡겨도 될거같음..

그 참가자가 이어서 설명한 비교 방식은 이렇다. 한쪽은 Stata에서 do 파일을 짜서 돌린 결과이고, 다른 쪽은 AI에게 파이썬으로 돌리게 한 결과다. 두 결과를 diff, 곧 차이를 찾아내는 방식으로 대조해 보니 이 참가자는 이렇게 적었다.

완전 매칭되네

이 참가자는 놀란 이유도 밝혔다. 시군구를 맞추는 일까지는 단순한 데이터 정리라 잘할 줄 알았지만, 이번 일은 모델을 세워 분석을 돌리는 일이라 마음이 달랐다는 것이다.

사실 거의 반신반의했는데

돌린 분석 모델이 경제학에서 꽤 높은 수준이라 AI가 알아먹고 할까 싶었다는 말도 했다. 대화에 나온 분석 이름은 요인분해분석, 2SFCA 모델, 패널분석, 회귀불연속 모델이다. 대화 안에는 이 이름들을 풀어 준 설명이 없어서 이 글도 뜻을 덧붙이지 않는다.

일은 어떻게 맡겼고, 무엇을 모르는가

이 참가자가 AI에게 준 것은 자신이 정의해 둔 분석 모델이었다. 이 참가자는 이렇게 적었다.

그냥 내 분석모델 정의된거 주고 파이썬으로 분석정의된대로 데이터 돌려보라고줬음

다른 참가자는 서브에이전트 구조를 잡아 스스로 계획을 짠 것 아니냐고 물었고, 곧이어 어떤 모델을 어떤 강도로 썼는지 궁금하다고 했다. 보고서를 쓴 참가자는 아니라고 답했고, 이어 질문을 이해하지 못한 듯하다며 경제학 분석 모델을 묻는지 AI 모델을 묻는지 되물었다. 그 뒤 보고서를 쓴 참가자가 한 말은 이렇다.

AI는 몰라요. 지가 어떻게 일했는지..

이 참가자는 과정을 보려면 슬랙 안의 작업 파일을 열어 뒤져 봐야 할 것 같다고도 했다. 모델 이름은 확정이 아니라 추측으로 내놓았다. 슬랙에서 돌린 것이라 아마 세 가지 모델이 쓰였을 텐데, 어느 것이 어떤 일을 했는지도 짐작일 뿐이라는 뜻이다. 이 참가자는 이렇게 적었다.

에이아이는 슬랙에서 돌린거라 아마 오프스 5.5 하이 + 아스트라 5.0 하이 + 페이블 5.1 하이 세개 일텐데

보고서를 쓴 참가자는 답을 단 뒤 물어본 참가자가 사라졌다고 적었다. 이 모델 이름들이 각각 무엇인지는 대화에서 확인되지 않았다.

같이 오픈소스를 만들자는 제안

그 감탄이 올라온 직후, 다른 참가자는 통계 분석과 데이터 분석의 암묵지를 뽑아서 같이 오픈소스를 만들자고 했다. 암묵지는 글로 정리되지 않고 경험 속에 쌓인 노하우를 가리킨다. 이 참가자는 구현은 자신이 다 하겠다는 말까지 붙였다. 같은 시각 보고서를 쓴 참가자는 이렇게 적었다.

내가 다할필요가없겠다…

보고서를 쓴 참가자가 보고서는 지금 비공개라고 하자, 다른 참가자는 필요한 것은 보고서가 아니라고 선을 그었다. 데이터 분석을 해 본 사람들의 암묵지가 필요하다는 것이다. 이를 위해 인터뷰 같은 것도 하겠다고 했다.

암묵지가 필요함

읽는 법

이 대화가 보여 주는 것은 한 참가자가 자신의 분석 일곱 개쯤에서 얻은 대조 결과와 체감이다. AI의 파이썬 결과를 Stata do 파일로 돌린 결과와 대조할 수 있었다는 점이 중요해 보인다. 이 참가자가 AI에게 준 것은 자기 분석 모델의 정의였다. 반면 AI가 어떤 경로로 일했는지는 그 참가자도 알지 못했고, 오픈소스 제안은 이야기가 나온 단계에 머물렀다. 정리하면 분석을 맡길 수 있다는 판단은 아직 한 사람의 인상이고, 그 인상을 넓히려는 시도가 암묵지 수집이라는 제안으로 이어진 장면이다.