클라우드플레어·오픈AI, 웹페이지 발견 실험 중간 결과 공개…색인 규모는 자체 발표

클라우드플레어와 오픈AI는 15일 공동 연구 시범사업의 중간 결과를 공개하고, 오픈AI 검색 시스템이 기존에 알지 못했던 웹페이지 수억 개를 발견해 색인했다고 밝혔다. 결과는 참여 기업의 발표치로, 검색 답변의 정확도나 출판사의 방문자 증가를 입증한 수치는 아니다.

링크 대신 네트워크 신호로 새 주소 찾기

두 회사는 지난 7월 클라우드플레어 네트워크에서 관찰한 콘텐츠 변경과 트래픽 관련 신호가 AI 검색의 페이지 발견에 도움이 되는지 시험하기 시작했다. 이번 발표에 따르면 시범사업 참여 범위는 클라우드플레어 전체 네트워크의 약 1%였다. 이 범위를 대상으로 색인된 신규 페이지의 규모만 공개됐고, 실험 전후 답변 품질을 같은 조건에서 비교한 결과는 제시되지 않았다.

클라우드플레어가 페이지를 찾아볼 만하다는 신호를 제공하면 오픈AI는 해당 페이지를 자체 기준으로 평가하고 검색 노출 순서를 정한다. 따라서 색인에 들어갔다고 해서 챗GPT 답변에 반드시 인용되거나 해당 사이트로 이용자가 이동한다는 뜻은 아니다.

발표문은 존재하지 않는 주소, 첫 화면으로 되돌아가는 주소, 중복 콘텐츠를 걸러 불필요한 수집을 줄이는 방안도 설명했다. 의심스러운 개별 페이지를 식별하는 안전 신호 역시 시험 중이라고 밝혔지만, 그 정확도나 오탐률은 공개하지 않았다.

사이트 허용 설정과 방문 성과는 별개

두 회사는 검색·발견을 위해 웹의 메타데이터를 활용하며 모델 학습용 페이지 본문을 공유하는 방식은 아니라고 설명했다. 페이지에 관한 신호가 있다고 해서 수집 허가가 생기는 것은 아니라는 점도 강조했다. 웹사이트 운영자가 허용 범위를 통제하는 문제와 실제 검색 노출 성과는 구분해야 한다.

기술매체 테크타임스는 16일 이 실험을 보도하면서 색인이 출판사 유입으로 이어지는지는 여전히 확인되지 않았다고 짚었다. 클라우드플레어도 다음 단계에서 발견된 페이지가 사업 성과로 연결되는지 측정하겠다고 밝혔다. 수억 개라는 규모는 공동 발표에 근거하며 독립적인 색인 감사 결과는 제시되지 않았다.

대표 이미지: AI 생성 이미지 / 데이마크

자료: https://blog.cloudflare.com/cloudflare-openai-discovery-agentic-web/ ; https://www.cloudflare.com/press/press-releases/2026/cloudflare-announces-research-pilot-with-openai/ ; https://www.techtimes.com/articles/329138/20261016/chatgpt-search-gained-hundreds-millions-pages-link-crawlers-never-found.htm