로컬에선 되는데 배포하면 막힌다 — 커머스 봇탐지 앞에 선 자동화 개발자들

한 참여자가 Playwright(플레이라이트)로 만든 자동화가 로컬에서는 정상 작동하는데 배포된 사이트에서는 작동하지 않는다며 해결 방법을 물으면서 대화가 시작됐다. 어떤 사이트냐는 후속 질문에 그는 지마켓·옥션·11번가 같은 커머스 사이트라고 답했고, 이들은 뚫릴 때도 있고 막힐 때도 있는 반면 쿠팡은 아예 시도조차 되지 않는다는 경험을 덧붙였다. 같은 자동화 코드라도 어떤 사이트냐에 따라 결과가 크게 갈린다는 점이 대화의 출발점이었다. 미리 짚어두면, 자동화 접근은 대상 사이트의 이용약관 준수와 허용된 범위 확인이 선행돼야 하는 영역이다.

"혹시 웹이 플레이라이트 붙여서 자동화하고 있는데, 배포된 사이트에서는 작동을 하지 않네요.. 혹시 해결 방법없을까요?"

"지마켓 옥션 11번가 이런 커머스입니다"

"쿠팡은 시도조차 안되던데용"

이어 다른 참여자가 봇탐지를 우회하는 요령으로 클라우드에 에이전트를 파견해 실행하는 방식을 소개했다. 왜 굳이 클라우드로 우회하냐는 물음에는 로컬 IP가 반복 요청으로 차단되기 때문이라는 설명이 따라붙었다. 즉 로컬에서 작동하던 자동화가 배포 환경에서 막히는 이유의 상당 부분은 사이트의 봇탐지 로직이 요청 출처(IP)와 브라우저 환경을 함께 검사하기 때문으로 보이며, 참여자들의 경험담은 사이트별로 그 방어 수준이 다르다는 것을 시사한다.

"크롤링 팁을 드리면 클라우드에 에이전트파견내보내서"

"아뇨 클라우드로 파견보내는 이유는 아이피차단등해서 그래요"

다만 이 대화는 어디까지나 커뮤니티 안에서 오간 개인 경험 공유였다는 점은 짚어둘 필요가 있다. 특정 사이트의 이용약관은 자동화된 접근·크롤링을 명시적으로 제한하는 경우가 많고, IP 차단을 우회해 반복 접근하는 행위는 서비스 약관 위반이나 법적 분쟁으로 이어질 수 있다. 이번 대화는 자동화가 대상 사이트의 정책과 충돌할 때 개발자가 마주하는 현실적 장벽을 보여주는 사례에 가깝다.

방 안 반응은 실용적인 팁 공유의 형태를 띠었지만, 그 이면에는 배포 환경에서의 자동화가 로컬 테스트만으로는 예측하기 어려운 변수(IP 차단 등)를 안고 있다는 공통된 인식이 깔려 있었던 것으로 읽힌다.