Cloudflare、混合クローラを既定でブロック開始

Cloudflare が 7 月に予告していた「用途を分けない AI クローラは既定でブロック」の運用を、日本時間 9 月 15 日から開始しました。対象は新規ドメイン・新規契約と既存の Free プランで、パブリッシャー側は事前のオプトアウト期間を経て自動適用となります。

主なポイント

分類は Search / Agent / Training の 3 カテゴリ。広告掲載ページで Agent と Training は既定ブロック、Search は許可のまま
用途を混ぜた単一 User-Agent の「混合クローラ」がターゲット。OpenAI・Anthropic・Google・xAI などは学習用と検索用を分離済み
新設定「Disallow AI Training」で、検索インデックスに残しつつ学習利用だけを拒否できる。Apple・Google・Microsoft が対応または対応表明
クローラ分類は Content Signals フォーマットと transitive trust を通じ、業界標準化を提案する形
Enterprise / Pro プランの既存サイトは自動適用対象外で、ダッシュボードから手動で有効化する必要がある