AI 도입 ROI·기업 거버넌스 논의(삼성SDS 컨퍼런스)

아침 시간 삼성SDS 컨퍼런스를 청취하던 한 참여자가 발표 내용 일부를 방에 공유하면서, 기업의 AI 도입 성과를 둘러싼 논의가 시작됐다. 핵심은 비용은 비용대로 들어가는데 실제 비즈니스 효과를 냈다고 답한 기업은 소수에 그친다는 통계였다. 이 참여자는 "비용읔 비용대로 들어가는데 실제 비니지스효과를 나타냈다고 하는 곳은"이라고 운을 뗀 뒤, "기업중 6퍼센크 정도라네용"이라며 구체적인 수치를 전했다.

이 발표를 계기로 개발 현장에서의 경험담이 이어졌다. 한 참여자는 API 정가로 AI를 코딩에 활용할 경우 투자 대비 효과를 뽑아내기가 쉽지 않다는 견해를 밝혔다. "API 정가로 쓰는순간 근데 ROI 가 코딩쪽에서는 나오기는 어려운거같아요"라는 언급과 함께, 자신의 실제 비용 사례를 덧붙였다. "제가 어제 쓴 토큰만 1200$ 인데"라는 발언은, 하루 토큰 비용만으로도 상당한 금액이 소모된다는 점을 구체적으로 보여줬다.

거버넌스 관점의 지적도 이어졌다. 한 참여자는 사내에 플랫폼화되지 않은 AI 서비스들이 소규모 팀 단위의 개인 도구에 머무는 경우가 많다는 점을 짚었다. "사내에 픒랫폼화 되지 않은 ai 서비스들은 그냥 각4 ~ 5명 정도의 팀이 쓰는 개인 서비스가 되는데, 업무 효율화관점에서는 좀 된다쳐도 유지보수나 기업 전체적인 개선으론느 생각보다 쉽지않아요"라는 설명은, 개별 팀 단위의 효율화가 조직 전체의 개선으로 이어지기 어려운 구조적 한계를 짚은 것으로 읽힌다.

이 화제에는 참여자 11명, 발화 64건이 모였다. 참여 인원 자체는 다른 화제보다 적었지만, 소수의 참여자가 발표 내용과 실무 경험을 밀도 있게 주고받으며 대화가 길게 이어졌다. 컨퍼런스 발표 통계라는 외부 소식이 방 안의 실사용 경험담과 맞물려 논의가 깊어진 사례로 볼 수 있다.

컨퍼런스에서 공유된 6%라는 수치와 방 안에서 나온 실제 비용·조직 운영 경험담이 서로 맞물리면서, 이 논의는 단순한 통계 인용을 넘어 왜 그 수치가 나올 수밖에 없는지를 구체적으로 뒷받침하는 흐름으로 이어진 것으로 보인다. API 단가 부담과 플랫폼화 미비라는 두 가지 요인이 겹치면, 개별 팀 차원의 체감 효율과 별개로 기업 전체의 투자 대비 성과 지표는 낮게 나타날 수밖에 없다는 점을 시사한다.

하루 토큰 비용이 1200달러에 달했다는 발언은, AI 도입 비용이 더 이상 소액의 실험 비용 수준이 아니라 실제 인건비와 견줄 만한 규모로 커지고 있음을 보여준다. 동시에 사내 서비스가 소규모 팀 단위에 머물러 유지보수 부담이 조직 전체로 확산되지 못한다는 지적은, 비용 문제 이전에 조직 구조 자체가 ROI 산정을 어렵게 만들고 있다는 점을 시사하는 것으로 보인다.