Cloudflareは2026年9月15日から、同社に新しく登録されるドメインの標準設定を変える。広告が表示されるページでは、AIモデルの訓練に使う「Training」と、人の依頼を受けてリアルタイムに動く「Agent」のbotを標準でブロックし、検索インデックス向けの「Search」は許可する。既存の顧客は、9月15日までにSecurity settingsから新しい標準設定を受け入れない選択を明示できる。広告で成り立つページでは人間の訪問を前提にした経済モデルを優先し、検索以外のAI利用には許可や対価を求める。Cloudflareが示した標準の方向性は明確だ。
この変更は、AIクローラー全般をまとめて閉め出す設定ではない。Cloudflareは同日の発表で、botを「AIかどうか」ではなく、サイト上で何をするかで分類すると説明した。Searchは後で質問に答えるためにコンテンツを収集・索引化する行為、Agentはユーザーの代わりにいまページへアクセスして作業する行為、Trainingはモデルを訓練または微調整するためにデータを取り込む行為である。サイト運営者にとって問題になるのは、同じクローラーが複数の目的を兼ねる場合だ。Cloudflareは、SearchとTrainingを兼ねるクローラーは、Trainingをブロックする設定ではブロック対象になるとしている。
検索を許し、訓練とエージェントを止める線引き
Cloudflareの新しい分類は、検索流入とAI利用が同じ経路に乗ってしまう問題をほどくためのものだ。サイト運営者は検索に載りたい。一方で、ページ内容がAI回答やモデル訓練に使われ、訪問や広告収入に結びつかないなら、検索への掲載と同じ条件で受け入れる理由は弱くなる。従来の「Block AI Bots」のような大きな設定では、この違いを扱いにくかった。
9月15日の新標準では、広告付きページが境界になる。Cloudflareは広告を、人間がページを訪れて見ることを前提にしたシグナルと位置付ける。そのため、広告付きページではTrainingとAgentを止め、Searchは残す。検索が訪問者を送り返す行為であるのに対し、Trainingはコンテンツをモデルに吸収し、Agentはユーザーの代わりにページを読み取って処理を進める。どちらもページ閲覧という収益機会を置き換えやすい。
この線引きは、混合目的クローラーに強く作用する。Cloudflareは、Googlebot、Applebot、BingBotのようなクローラーを例に挙げ、SearchとTrainingを兼ねる場合は、Trainingをブロックする設定の下で最も制限的なルールが適用されると説明している。Appleの公式説明でも、ApplebotがSpotlight、Siri、Safariなどの検索体験を支え、取得したデータがApple Intelligenceなどの基盤モデル訓練に使われる場合があるとされている。Applebot-Extendedを拒否すれば訓練利用を断れる一方、通常のApplebotによる検索発見性は残せるという設計だ。
この新標準は、各bot運営者に用途の分離を促す構造になっている。検索、エージェント、訓練が一つのbotにまとまっていると、サイト運営者は「検索には載りたいが、訓練には使わせたくない」という判断を技術的に通しにくい。新標準は、そのあいまいさをCloudflare側の分類とブロック設定で処理し、混合目的のままなら不利になる環境を作る。
広告モデルを壊すのはクロール量より訪問の減少
Cloudflareがこの変更を広告付きページから始める理由は、クローラーの負荷だけでは説明できない。同社の2026年版Content Independence Dayのレポートでは、インターネット上のトラフィックの過半が非人間になったとされ、2026年6月時点でクローラーリクエストの52%がAI訓練目的だった。2025年春の22%から大きく増えた数字である。さらに、Search、Agent、Trainingを混ぜる混合目的クローラーは活動の36%超を占める。
広告モデルにとって痛いのは、ページが読まれること自体より、読まれた結果として人が来ないことだ。検索エンジンがリンクを提示し、利用者がサイトに移動するなら、クロールは広告や購読につながる入口になる。AI回答やエージェントがページ内容を要約し、ユーザーの用事をそこで済ませるなら、コンテンツは使われても表示回数や訪問者は戻りにくい。Cloudflareはこの変化を、30年ほど続いた「クロールを許す代わりに訪問を得る」取引の崩れとして描いている。
同社は自らの位置を、この市場で影響力を持つ理由としても示している。Cloudflareによれば、同社ネットワークの背後にはWebの20%超があり、世界の主要Webサイトの36%、Fortune 500の40%超が同社を利用している。個々の出版社や小規模サイトが単独では交渉しにくいbotアクセスを、エッジ側の設定と分類でまとめて扱えるという意味を持つ。新標準は、大規模出版社との個別契約に限らず、Cloudflareを使う一般サイトの初期設定に市場ルールを埋め込む試みである。
robots.txtの意思表示から、エッジでの強制へ
今回の変更を理解するには、robots.txtとの違いを見る必要がある。Cloudflareの管理robots.txtは、Content Signalsとしてsearch=yes、ai-train=no、use=referenceのような意思表示を入れられる。searchは検索索引と検索結果、ai-trainは訓練や微調整、use=referenceは索引化、短い抜粋、リンクバックまでを許すという意味だ。Cloudflareはさらに、use=immediate、use=reference、use=fullという利用後の保持・再利用レベルも試している。
ただしrobots.txtは、あくまでクローラーへの要請である。Cloudflareのドキュメントも、robots.txtへの準拠は任意であり、技術的なアクセス阻止ではないと説明している。そこでAI Crawl Controlは、WAFのカスタムルールとして働き、サイト運営者がブロック対象にしたAIクローラーを実際に止める。この処理はPay Per Crawlより前に適用される順序になっており、まず誰を通すかを決めた上で、対価の交渉が始まる設計だ。
この順序は、Cloudflareが作ろうとしている市場の土台になる。まず誰を入れるか、どの目的を許すかを決める。次に、許可されたアクセスや有償アクセスを測る。Enterprise Bot Management向けのAttribution Business Insightsでは、bot運営者ごとのクロール対参照流入比率や分類、ブロック・許可状況を見られる。広告付きページの標準ブロックは、その手前で「対価なしの訓練・エージェント利用を初期値として許さない」という位置を取る。
支払いはクロール単位から利用単位へ向かう
Cloudflareは2025年にPay Per Crawlを発表し、コンテンツ所有者がAIクローラーに対し、Allow、Charge、Blockを選べる仕組みを試した。Chargeでは、クローラーが支払い意思を示さなければHTTP 402 Payment Requiredを返し、価格を受け入れたリクエストだけにコンテンツを返す。なりすましを防ぐため、Web Bot Authによる署名付きリクエストも前提に置かれた。
2026年の発表では、この発想がPay Per Useへ広がっている。CloudflareはCeramic.aiと、コンテンツが検索結果に現れたときに支払うpay-per-query型の実験を進め、You.comとはエージェントが必要なプレミアムコンテンツをオンデマンドで支払う方向を示した。クロール回数は価値の粗い代理指標でしかない。1回読まれたページが多くの回答で使われる場合もあれば、何度クロールされても使われない場合もある。Cloudflareは、支払いを取得回数ではなく、回答や検索結果への貢献に近づけようとしている。
同じ日に発表されたMonetization Gatewayは、この流れをコンテンツ以外へ広げる構想だ。Cloudflareの背後にあるWebページ、データセット、API、MCPツールに課金ルールを置き、支払い確認とアクセス制御をエッジで処理する。初期の決済は、HTTP 402を実際に使うx402プロトコル上で、ステーブルコインによって行う計画である。x402では、支払いが必要なリソースにアクセスするとサーバーが402を返し、クライアントが支払い証明を添えて再リクエストする。
次の焦点はクローラー側の分離と実際の支払い
Cloudflareの新標準は、クローラー運営者に二つの圧力をかける。第一に、Search、Agent、Trainingを分けて名乗らないbotは、広告付きページで広く止められやすくなる。第二に、アクセスしたいなら、署名、分類、利用目的、支払い意思を機械可読な形で示す必要が増す。これは検索大手、AI検索企業、エージェント提供企業にとって、Webアクセスの実装方針そのものに関わる。
サイト運営者側にも判断が残る。広告付きページでTrainingやAgentを止める標準は、検索流入を守りながらAI利用を制御する出発点になるが、すべてのサイトに同じ答えを与えるわけではない。APIやデータセットを売りたい企業、AI検索に載りたいメディア、エージェントによる購買や予約を受けたいサービスでは、許可すべきbotと支払い条件が異なる。Cloudflareの分類は、その選択を個別bot名ではなく利用目的から扱うための基盤である。
9月15日の実施後に見るべきなのは、混合目的クローラーが分離に動くか、そしてPay Per UseやMonetization Gatewayの実験が実際の収入になるかだ。Cloudflareの設定がそのままWeb経済の新しいルールになるとは限らない。それでも、Webのかなりの部分を通るインフラ事業者が、広告付きページの初期値として「検索は許すが、訓練とエージェント利用は許可制にする」と置いた意味は大きい。コンテンツを読むソフトウェアが増えるほど、次に問われるのは、誰が何の目的で読み、その価値を誰へ返すのかである。
