클라우드플레어, 인증 봇의 사이트 규칙 준수 추적…점수 공개는 추후

클라우드플레어가 자사 ‘인증된 봇’의 실제 접속 행동을 살피는 평가 체계를 16일 공개했다. 운영자 신원을 확인한 뒤에도 사이트의 크롤링 제한과 요청 속도 조절 신호를 지키는지 따져보겠다는 구상이다. 평가는 내부에서 시작했으며 점수의 대외 공개와 고객용 설정 기능은 아직 시행 전이다.

신원 확인과 행동 평가는 별개

회사는 봇의 트래픽이 사이트 운영자의 접근 선호와 얼마나 일치하는지 장기간 관찰해 ‘신뢰 구간’으로 나타낼 계획이라고 밝혔다. 처음 살필 신호는 사이트의 지시를 따르는지, 운영자의 직접적인 피드백 뒤 행동을 바꾸는지다. 단발성 접속보다 반복되는 양상을 보겠다는 설명이다.

인증된 봇이라는 명칭은 운영 주체를 식별했다는 뜻이지 모든 접속 행위가 허용됐다는 뜻은 아니다. 실제로 클라우드플레어는 이 체계를 내부에서 활용해 관찰 이력을 쌓는 단계라고 설명했다. 신뢰 구간을 레이더에 공개하거나 고객이 허용 기준을 고르는 기능은 앞으로 제공할 계획이므로 현재 쓸 수 있는 기능과 구분해야 한다.

robots.txt와 과다 요청 응답을 신호로

사이트의 robots.txt는 자동 수집 프로그램에 접근 경로를 알리는 파일이다. 국제 인터넷 표준 RFC 9309는 수집기가 해당 규칙을 따르도록 정하면서도 이를 접근 권한 부여 수단으로 보지 않는다. 클라우드플레어는 공개된 규칙과 봇의 실제 방문 경로가 지속해서 어긋나는지 평가하겠다고 했다.

요청이 지나치게 많을 때 서버가 보내는 HTTP 429 응답도 살핀다. RFC 6585에 따르면 429는 일정 기간 요청이 너무 많다는 신호이며, 서버는 다시 요청하기까지 기다릴 시간을 함께 알려줄 수 있다. 회사는 봇이 이 응답을 받은 뒤 속도를 낮추거나 멈추는지 관찰한다고 밝혔다. 개별 봇의 점수나 이 방식의 오탐률은 발표문에 제시되지 않았다.

대표 이미지: AI 생성 이미지 / 데이마크

자료: 클라우드플레어(2026년 10월 16일) https://blog.cloudflare.com/verified-bots-accountability

자료: RFC 9309(2022년 9월) https://www.rfc-editor.org/rfc/rfc9309.html

자료: RFC 6585(2012년 4월) https://www.rfc-editor.org/rfc/rfc6585.html#section-4