서·논술형 대입 개편안, AI 채점 신뢰 문제를 소환하다

아침 8시 14분, 한 참가자가 교육 당국의 대입 제도 개편 소식을 방에 전했다. 대학수학능력시험(수능)에 서·논술형 문항을 도입해 AI 시대에 맞는 인재를 가려내겠다는 개편안이 추진되고 있다는 내용이었다. 단답형과 객관식 중심이던 시험에 서술형 답안이 들어온다는 소식은 곧바로 여러 참가자의 반응을 불렀다.

"사교육 강화같은데..."

6분 뒤, 다른 참가자는 방향 자체는 긍정하면서도 현실적인 우려를 얹었다.

"좋은 방향이긴한데 몇십만명 채점을 어떻게 할지가..."

수능 응시생 규모를 감안하면 서·논술형 답안을 사람이 일일이 채점하기는 사실상 불가능하다는 지적이었다. 같은 시각, 또 다른 참가자는 채점을 AI에 맡기는 방안 자체의 위험성을 짚었다.

"이녀석이 맞말을 하는지 틀린말을 하는지 걸러낼 능력이 없는"

AI가 내놓는 채점 결과가 맞는지 틀리는지조차 검증할 수 없는 상태에서 대규모 채점을 맡기는 일이 위험하다는 지적이었다. 처음 소식을 전했던 참가자는 1분 뒤 이 논의를 다시 받아 전망을 내놨다.

"수능채점형 RAG와 에이전트가 만들어질 것 같긴 한데"

RAG(검색증강생성)와 에이전트를 결합한 수능 채점 전용 시스템이 결국 등장할 거라는 예측이었다. 서·논술형 도입이 채점 인력 부족이라는 현실적 제약과 맞물리는 순간, 논의가 자연스럽게 AI 채점 도구 쪽으로 흘러간 셈이다.

이 화두에는 참가자 4명, 메시지 23건이 오갔다 — 이날 다뤄진 여덟 개 화두 가운데 참여 인원은 가장 적었지만, 그 적은 인원 사이에서 사교육 우려부터 채점 기술 전망까지 짧은 시간에 밀도 있는 논쟁이 오갔다.

이 대화는 정책 하나가 던져지자마자 사교육 확대 우려, 채점 인력의 물리적 한계, AI 환각에 대한 불신이라는 세 겹의 문제가 동시에 튀어나온 흐름을 보여준다. 결국 대규모 서술형 채점을 감당하려면 AI를 배제하기 어렵다는 현실과, 그 AI를 아직 신뢰할 수 없다는 우려가 정면으로 부딪히고 있는 모습이다. 대입 제도가 바뀌는 속도보다 그 제도를 뒷받침할 채점 기술의 신뢰도가 더 늦게 따라올 수 있다는 점을, 이날 오전의 대화가 미리 보여준 것으로 보인다.

대입 제도라는 사회적 합의가 걸린 사안에서조차, 채점이라는 실무 단계로 내려가면 결국 AI 신뢰성 문제와 정면으로 마주치게 된다는 점은 시사하는 바가 크다. 서·논술형이라는 형식 변화가 실제로 자리 잡으려면, 그 형식을 뒷받침할 채점 기술에 대한 합의도 함께 필요해 보인다. 수능처럼 해마다 반복되는 대규모 평가 체계에서는, 정책이 한 번 바뀌면 채점 방식도 그 규모에 맞춰 다시 설계돼야 한다는 점도 이 논의가 넌지시 짚고 있는 부분이다.