구글, 웹사이트의 AI 학습 거부 공통 신호 지원 예고…내년 도입 목표

구글이 30일(현지시간) 웹사이트 운영자가 콘텐츠의 인공지능(AI) 학습 이용 여부를 여러 업체에 한꺼번에 알릴 수 있는 공통 신호를 지원하겠다고 밝혔다. 도입 목표는 2027년이다. 지금 당장 모든 AI 업체가 이를 따르는 것은 아니다.

새 방식은 웹사이트의 robots.txt 파일에 학습 이용 방침을 나타내는 별도 토큰을 쓰는 것이다. 업체마다 크롤러 이름을 따로 찾아 규칙을 적어야 했던 운영 부담을 줄이려는 시도다. 구글은 인터넷 기술 논의기구 IETF의 AI 선호도 작업반에서 진행 중인 논의를 토대로 한다고 설명했다.

학습 이용 의사와 방문 제한은 별개

30일 공개된 기술 초안은 User-Agent: __usage_ai-training 아래에 Disallow: /를 적으면 사이트 전체 콘텐츠를 AI 학습에 쓰지 말아 달라는 의사를 표시하도록 제안한다. 특정 경로에는 Allow를 써 예외를 둘 수도 있다. 새로운 robots.txt 명령어를 만드는 대신 기존 문법을 활용한다.

다만 이 토큰은 크롤러의 페이지 방문을 차단하는 명령이 아니다. 초안은 콘텐츠 이용 선호와 크롤러 접근 규칙을 별도로 취급한다. User-Agent: *에 쓴 일반 규칙만으로도 새 학습 선호가 자동 전달되는 것은 아니다. 이 문서는 IETF가 승인한 표준이 아닌 개인 제출 인터넷 초안이다.

구글의 기존 설정은 유지

구글은 웹사이트가 공통 토큰으로 학습 거부 의사를 밝히고 기존 Google-Extended 설정을 따로 쓰지 않았다면 이를 Google-Extended의 거부 규칙처럼 해석할 계획이라고 했다. 업체별 설정을 명시한 사이트는 그 설정을 병행할 수 있다.

구글 공식 문서는 Google-Extended가 미래 제미나이 모델 학습뿐 아니라 제미나이의 검색 기반 답변에도 영향을 준다고 밝힌다. 반면 해당 설정 자체는 일반 구글 검색 결과의 포함 여부나 순위에 영향을 주지 않는다고 설명한다. 학습 이용을 거부한다는 것과 사이트가 검색에서 사라진다는 것을 같은 뜻으로 볼 수 없다.

구글은 자사 크롤러 문서에서 공통 신호를 2027년 초에 지원할 계획이라고 적었다. 실제 구현 범위와 시점은 아직 확인할 수 없다. 이번 발표는 업체들의 향후 자발적 대응 계획이며, 기술 초안만으로 모든 크롤러가 학습 거부 의사를 준수한다고 보장할 수는 없다.

대표 이미지: AI 생성 이미지 / 데이마크

자료: 구글 검색 센트럴, 「Supporting a shared AI training control for websites」(2026-10-30) https://developers.google.com/search/blog/2026/10/ai-training-control?hl=en
IETF 개인 제출 초안, 「Machine-Readable Training Preference Signal」(2026-10-30) https://www.ietf.org/archive/id/draft-kelley-aipref-training-preference-signal-00.html
IETF 문서 상태(2026-10-30 갱신) https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
구글 일반 크롤러 문서(2026-10-30 갱신) https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers?hl=en