OpenAIは2026年10月30日、Webサイトのコンテンツを生成AIの学習に利用してよいかを複数のAI事業者に伝える共通の仕組みに対応すると発表した。Webクローラーの動作を制御する「robots.txt」に学習利用の方針を記述するもので、今後数カ月以内の実装を目指す。同日、Googleも2027年中の対応を目標に掲げ、MicrosoftはBingで2027年2月1日から新しい指定を尊重すると発表した。
ここで区別する必要があるのは、AIモデルの「学習」と「グラウンディング」、そしてWebページの「巡回」だ。学習はコンテンツを使ってモデルのパラメーターを更新する処理を指し、グラウンディングはAIが回答を生成する際にWeb上の情報を参照する仕組みを意味する。一方、巡回はクローラーがページの内容を取得する処理であり、学習への利用を拒否しても、必ずしもページの取得自体が禁止されるわけではない。
これまでサイト運営者は、OpenAIやGoogleなどの事業者ごとにクローラーを識別し、学習への利用を許可するかどうか管理する必要があった。共通の指定に対応する事業者が増えれば、こうした設定を個別に管理する負担を減らせる。ただし、AIの回答生成への利用や既存設定との関係は統一されておらず、各社の仕様を確認する必要がある。
robots.txtでAI学習への利用方針を共通指定
robots.txtは、サイト運営者がWebクローラーに対して、サイト内のどの領域へのアクセスを許可するかを伝えるためのファイルだ。今回の共通信号は、この仕組みを利用して、Webコンテンツを生成AIモデルの基盤的な学習に使ってよいかという意思を示す。OpenAIは、各事業者がサイト運営者の意思を尊重する自主的な取り組みに参加するとともに、既存のrobots.txtによるクローラー管理も維持する方針を示している。
Microsoftが公開した、AI学習への利用を拒否する設定例は次のとおりだ。
User-Agent: __usage_ai-training
Disallow: /この__usage_ai-trainingは、特定のクローラーを識別する名前ではなく、AI学習という用途に対する利用方針を伝えるためのポリシートークンだ。Disallow: /と組み合わせることで、サイト全体のコンテンツをAI学習に利用しないよう意思表示できる。通常のBingbotなどに対する巡回制限とは別に扱われるため、この指定を追加しただけでWebページへのアクセスや検索エンジンによる巡回が停止するわけではない。
この仕組みの標準化に向けては、IETFのAIPREFで議論が続いている。Microsoftも、最終的な標準の策定には引き続き作業が必要だと説明している。今回の発表によって、すべてのAI事業者が共通信号に従うことが保証されたわけではなく、すでに学習済みのモデルからコンテンツの影響を取り除けるようになるわけでもない。
OpenAI、Google、Microsoftで異なる対応時期と利用条件
3社が2026年10月30日に示した方針を比較すると、AI学習に関する意思表示の共通化を進める点では一致しているものの、対応時期や既存設定との関係、AI回答への利用条件には違いがある。
OpenAIの発表、Googleの発表、Microsoftの発表を基に、各社の対応方針を整理した。なお、以下は発表時点の実装予定や運用方針であり、すべての機能がすでに提供されていることを意味するものではない。
| 比較項目 | OpenAI | Microsoft／Bing | |
|---|---|---|---|
| 対応時期 | 今後数カ月以内の実装を目指す | 2027年中の対応を目指す | 2027年2月1日から巡回時に新指定を尊重 |
| 既存設定との関係 | 従来のクローラー管理を維持。詳細な優先順位は未公表 | Google-Extendedの明示指定がない場合、共通の学習拒否をGoogle-Extendedによる拒否と同様に扱う計画。個別指定も維持 | 学習用途にはrobots.txtによるサイト・パス単位の指定とページ単位の指定を利用でき、ページ単位が優先 |
| AI回答への利用 | 今回の発表では詳細を明示していない | Google-Extendedを明示的に許可したサイトは、Gemini Appsのグラウンディングとクリックの対象になれる | 学習とは独立した回答利用の設定を、ページ単位で3段階から選択可能 |
Googleの場合、共通信号と既存のGoogle-Extendedの関係が重要になる。Google-Extendedを明示的に指定していないサイトでは、共通の学習拒否をGoogle-Extendedによる拒否と同様に扱う計画だ。一方、Google-Extendedを個別に指定している場合は、その設定も引き続き利用できる。Googleによると、Google-Extendedを明示的に許可したサイトは、Gemini Appsによるグラウンディングやクリックの対象になれるという。
Microsoftは、AI学習とグラウンディングを独立した設定として扱う方針を明確にしている。AIの回答生成に関する設定はページ単位で指定でき、Allow、DisallowExtended、Disallowの3種類から選べる。このうちDisallowExtendedは、Microsoft自身が運営するサービスでの利用を許可する一方、第三者向けに提供するWeb IQやFoundryのグラウンディングAPIでの利用を認めない設定だ。学習への利用を拒否しながら、Microsoftが運営するAIサービスでは回答の参照元として利用することも可能になる。
通常のBing検索への掲載については、従来の巡回・インデックス登録の条件が適用される。検索結果への掲載や順位付けと、AI回答のグラウンディングは異なる処理であり、AI回答への利用を制限することが、そのまま通常の検索結果からの除外につながるわけではない。
一方、OpenAIは今回、共通信号への対応方針を表明したものの、既存のクローラー指定との詳細な優先順位や、AI回答への利用にどのような影響があるかまでは明らかにしていない。GoogleやMicrosoftの仕様をOpenAIにも当てはめることはできず、実装時に公開される詳細を確認する必要がある。
Bingの旧タグは2027年3月1日から移行が必要に
Microsoft Bingでは、今回の共通信号への対応に加えて、既存のAI利用制限に関する設定も変更される。これまでNoArchiveやNoCacheを使ってAI学習や回答生成への利用を制限してきたサイトは、新しい指定への移行が必要になる。
Microsoftは2027年3月1日以降、NoArchiveとNoCacheをAI学習および回答利用の意思表示として解釈しなくなると発表した。ただし、これらの旧タグのすべての用途が廃止されるという意味ではなく、AIによるコンテンツ利用の制御に関する扱いが変更される。
AI回答への利用制限を維持したいサイトは、3月1日までに新しいページ単位の設定を公開し、必要に応じてBing Webmaster Tools（BWT）で移行期間用の一時設定を登録する必要がある。Microsoftは、2026年12月15日時点で旧タグを利用しているサイトに対し、この一時設定を提供する予定だ。ただし、同様の移行措置が用意されるのは回答利用に関する設定のみで、AI学習については一時設定を設けない。
BWTの一時設定は、Bingが対象ページを再巡回して新しい指定を発見するか、2027年9月30日を迎えるまで適用される。一時設定を登録しなかった場合、2027年3月1日以降、新しい指定が発見されるまで回答への利用はAllowに戻る。また、Bingが新しい指定を確認した後は、残っている旧タグをAI利用制限の指定として扱わなくなる。
注意が必要なのは、サイト側で設定を変更した日と、その内容がBingに反映される日が必ずしも一致しないことだ。新しい指定が有効になるには、Bingが対象ページを巡回して変更を検出する必要がある。IndexNowを利用して更新を通知しても、再巡回が実施される日時までは保証されない。
そのため、旧タグを使っているサイトでは、2027年2月1日の新指定への対応開始と、3月1日の旧指定の切り替えを見据えた準備が必要となる。新しいページ設定を公開するだけでなく、BWTの一時設定の対象になるかを確認し、移行期間中も意図した利用制限が維持されるようにしておくことが重要だ。
AI学習の拒否設定だけでは回答への利用を制御できない
robots.txtによる共通信号が普及すれば、サイト運営者はAI学習に関する方針を複数の事業者へまとめて伝えられるようになる。事業者ごとに異なるクローラー名や設定方法を管理する負担が減ることは、特に多くのページを公開するメディアや大規模サイトにとって利点となる。
ただし、共通化されるのは主にAI学習への利用方針であり、AIによる回答生成への利用条件まで統一されるわけではない。Microsoftは学習とグラウンディングを別々に制御できる一方、GoogleではGoogle-Extendedとの組み合わせが重要になる。OpenAIについては詳細な仕様がまだ明らかになっておらず、各社の実装を確認しながら既存設定との整合性を判断する必要がある。
また、Microsoftでは、適用可能な指定が存在しない場合、AI学習と回答生成への利用はいずれもAllowとして扱われる。ただし、利用を許可したからといって、AI回答への掲載やサイトへの流入、対価の支払いが保証されるわけではない。これらの指定自体が、コンテンツのライセンス契約や報酬の支払い条件を成立させるものでもない。
今後、サイト運営者にとって重要になるのは、共通信号に対応する事業者がどこまで増えるかに加え、学習と回答生成への利用をそれぞれどう制御できるかという点だ。既存の個別指定との優先順位や、設定変更がクローラーに認識されるまでの時間も運用上の課題となる。特にBingの旧タグを利用しているサイトでは、2027年3月の切り替えに備えた移行が必要だ。共通の意思表示を実際のコンテンツ管理に生かすには、各社の仕様と設定の反映状況を継続的に確認することが欠かせない。
