Webサイト運営者であれば誰もが、自らのコンテンツが多くの人々に届くことを願うだろう。そのために、かつてはGoogleのような検索エンジンにクロール（情報収集）されることが不可欠だった。それは、Webサイトが発見され、読者が訪れるという「価値交換」が成立する、一種の共生関係であった。しかし、その牧歌的な時代は静かに終わりを告げようとしている。
クラウドサービス大手のFastlyが発表した2025年第2四半期の脅威インサイトレポートは、生成AIの台頭がWebのエコシステムにどれほど深刻な負荷と構造変化をもたらしているかを、衝撃的なデータと共に突きつけた。レポートによれば、AIモデルの学習やリアルタイム応答のためにWebを巡回する「AIボット」の中には、単一のWebサイトに対してピーク時に毎分39,000回ものリクエストを送信するケースが確認されたという。これは、悪意なくしてWebサイトを機能不全に陥らせる「見えざるDDoS攻撃」に他ならない。
そして、この問題の震源地にいるのが、MetaとOpenAIという巨大テクノロジー企業なのだ。
静かなる侵略者、AIボットの正体 – Fastlyレポートが描く衝撃のデータ
Fastlyのレポートは、これまで漠然と語られてきたAIによるWebへの負荷を、初めて具体的な数値で可視化した点で画期的である。レポートでは、AIボットをその目的によって大きく二種類に分類している。この違いを理解することが、問題の全体像を掴む第一歩となる。
「クローラー」と「フェッチャー」：目的の異なる二つの顔
AIボットの活動の大部分、実にトラフィック全体の約80%を占めるのが「AIクローラー」である。これらは、検索エンジンのクローラーと同様に、Webサイトを体系的にスキャンし、膨大なコンテンツを収集する。しかしその目的は、検索インデックスの作成ではなく、主に大規模言語モデル（LLM）の「トレーニング（訓練）」にある。Web上のテキスト、画像、コードといったあらゆる情報が、AIの知性を形成するための“エサ”として消費されていくのだ。この活動は、モデルの性能を維持・向上させるために、持続的かつ大規模に行われる。
一方、残りの20%を占めるのが「AIフェッチャー」だ。こちらは、ユーザーがChatGPTのようなAIサービスに「最新のニュースを要約して」といったリアルタイム性の高い質問をした際に、その都度、関連するWebページにアクセスして情報を取得する。トラフィックの総量ではクローラーに劣るものの、その活動は突発的であり、特定のイベントや話題が発生した際にリクエストが単一のサイトに集中する傾向がある。
Fastlyが観測した毎分39,000リクエストという異常な負荷は、このAIフェッチャーによって引き起こされたものだ。これは、通常のWebサイトが想定するトラフィックを遥かに超えており、たとえ悪意がなくとも、オリジンサーバーを過負荷状態にし、サービス停止やパフォーマンスの極端な低下を引き起こすには十分すぎるほどの破壊力を持つ。
トラフィックの95%を寡占する巨大テック企業たち
では、これらのAIボットを一体誰が運用しているのか。Fastlyの分析は、そのプレーヤーが極めて少数に限定されていることを明らかにしている。
AIクローラートラフィックの内訳を見ると、その構図は一目瞭然だ。
- Meta (Facebook): 52%
- Google: 23%
- OpenAI: 20%
このわずか3社で、AIクローラートラフィック全体の95%を占めている。これは、現代のAI開発競争が、いかに巨大な資本と計算資源を持つ企業による寡占状態にあるかを如実に物語っている。彼らは自社のLLMを進化させるため、インターネットという共有資源から、競争的に、そして大規模にデータを吸い上げ続けているのだ。
AIフェッチャーの世界では、その寡占がさらに顕著になる。実にフェッチャートラフィックの98%近くがOpenAIのボット（ChatGPT-User, OAI-SearchBot）に起因するという。これは、コンシューマー向けAIチャット市場におけるChatGPTの圧倒的なシェアを反映した結果と言えるだろう。
崩壊する「ギブ・アンド・テイク」：検索エンジン時代との決定的な断絶
このAIボットによるトラフィックの急増がなぜこれほど問題視されるのか。それは、従来の検索エンジンとWebサイト運営者の間に存在した「暗黙の契約」が、一方的に破棄されたからに他ならない。
かつての共生関係：検索エンジンがもたらした価値交換
Googlebotに代表される従来の検索クローラーは、Webサイトのコンテンツを収集する見返りとして、検索結果ページを通じてユーザーを元のサイトへ送客する役割を担ってきた。コンテンツ制作者はサーバーリソースを提供し、検索エンジンは新たな訪問者をもたらす。この「ギブ・アンド・テイク」の関係があったからこそ、Webはオープンな情報空間として発展を遂げることができた。
しかし、生成AIの登場はこの共生関係を根底から覆した。
搾取に変わった関係性：AIがもたらす「ゼロクリック」の未来
生成AIは、収集したコンテンツを単に紹介するのではなく、それを要約・再構成し、独自の回答としてユーザーに提示する。ユーザーはAIのインターフェース内で必要な情報を得られるため、もはや情報源である元のWebサイトをクリックして訪問する必要性が激減する。これが、業界で警鐘が鳴らされている「ゼロクリック」の未来だ。
この構造変化は、トラフィックのデータにも明確に表れている。Cloudflareの分析によれば、検索エンジンであるGoogleがWebサイトをクロールする回数と、そこからユーザーを送り返す回数の比率（クロール対リファーラル比）が約14:1であるのに対し、AI企業の比率は桁違いに大きい。
- OpenAI: 1,700:1
- Anthropic (Claude): 73,000:1
これは、彼らが膨大な量のコンテンツを一方的に取得しながら、その見返りとして元のサイトにほとんど価値を還元していないという動かぬ証拠である。IAB Tech LabのCOO兼製品担当EVPであるShailley Singh氏が指摘するように、これは「オープンなWeb経済の基盤を殺す」行為であり、デジタルメディアにとって「実存的な問題」なのである。
コンテンツ制作者の悲鳴：現実となるコスト増と収益減
この一方的な搾取構造は、Webサイト、特に小規模な運営者や独立したクリエイターに深刻な打撃を与えている。
サーバーを麻痺させるトラフィックと、膨れ上がるインフラコスト
AIクローラーが生成する膨大なトラフィックは、サイト運営者のインフラコストを直接的に圧迫する。例えば、技術文書ホスティングサイトのCodebergは、AIボットからの過剰なアクセスによってサービスが不安定になる事態に直面した。同様に、文書ホスティングプロジェクトのRead the Docsは、AIクローラーをブロックすることで、月額1,500ドルもの帯域幅コストを削減できたと報告している。これは、AIボットがいかに無駄なリソースを消費しているかを具体的に示す事例だ。
特に、データベースへの問い合わせが頻繁に発生する動的なコンテンツや、Gitリポジトリのブラウジング機能を提供するサイトなどは、AIボットによる短時間の集中アクセスでも深刻なパフォーマンス低下に見舞われやすい。
「誰がためのコンテンツか？」- 報われないクリエイターエコノミー
より深刻なのは、収益モデルへの影響だ。旅行ブログ「The Planet D」を運営していたDave Bouskill氏とDebra Corbeil氏は、GoogleのAI検索（SGE/Gemini）導入後、トラフィックが90%も激減し、16年間築き上げてきたビジネスの閉鎖を余儀なくされたと語る。
広告収入やアフィリエイトに依存する多くのコンテンツクリエイターにとって、トラフィックの減少は死活問題だ。彼らが時間と労力をかけて生み出した質の高いコンテンツが、AIモデルの学習データとして無断で利用され、その結果として自らの首を絞めるという、極めて皮肉な状況が生まれている。
防衛線と新たなルール作り：Webは自らを守れるか？
この危機的状況に対し、Webサイト運営者やインフラ企業は、様々な防衛策を模索し始めている。しかし、その道のりは平坦ではない。
伝統的な防衛策「robots.txt」の限界
Webサイトがボットのアクセスを制御するための伝統的な仕組みが「robots.txt」ファイルだ。ここに特定のボット（例：GPTBot）からのアクセスを拒否する記述をすることで、クロールをしないよう“お願い”することができる。
しかし、これはあくまで「紳士協定」に過ぎず、ボット側がこの指示に従う保証はない。実際に、AI検索エンジンのPerplexity AIは、公開しているIPアドレス範囲外からアクセスを行ったり、robots.txtの指示を無視したりしているとの非難を浴びている。FastlyのArun Kumar氏も、「評判の良いAI企業はrobots.txtを尊重すべきだ」と釘を刺す。
さらに、Cloudflareの調査では、トップ10,000ドメインのうち、robots.txtファイルを設置しているのはわずか37%というデータもあり、この仕組み自体が十分に活用されていない現実も浮き彫りになっている。
Cloudflareが投じる一石：「デフォルトブロック」と「Pay-per-Crawl」
こうした状況を受け、Fastlyの競合であるCloudflareは、より踏み込んだ対策を発表した。同社は、AIボットによるクロールを「デフォルトでブロック」する方針へと転換し、サイト運営者が明示的に許可しない限り、AIのデータ収集からコンテンツを保護する姿勢を明確にした。
さらに、「Pay-per-Crawl」という画期的なサービスを導入。これは、AI企業がサイトをクロールする際、サイト運営者が設定した料金を支払う仕組みだ。コンテンツの価値を正当に評価し、新たな収益化の道を開く可能性を秘めたこの試みは、業界全体に大きなインパクトを与えている。
積極的防衛へのシフト：AnubisとNepenthes
紳士協定が通用しない相手には、より積極的な技術的防衛策も登場している。
- Anubis: サイトにアクセスするボットに対し、暗号学的な計算問題（Proof-of-Work）を解かせることで、大規模なクロールにかかる計算コストを意図的に引き上げる仕組み。
- Nepenthes: 不正なボットを検知すると、AIが生成した無意味な偽のWebページ群に誘導し、その時間とリソースを浪費させる「ターピット（蟻地獄）」と呼ばれる手法。
しかし、これらの対策も万能ではない。ボット側もこれらの防御を回避する技術を開発しており、「猫とネズミの追いかけっこ」の様相を呈している。Anubisの開発者であるXe Iaso氏は、「これは規制の問題だ。政府が介入し、デジタルコモンズを破壊するAI企業に存亡を脅かすほどの罰金を科すべきだ」と述べ、技術的対策だけでは限界があるとの見解を示している。
オープンWebの岐路 – 新たな秩序か、それとも“壁に囲まれた庭”か
Fastlyのレポートが明らかにしたのは、単なるトラフィックの増加という技術的な問題ではない。それは、インターネットが長年育んできた「オープンであること」の価値と、その上で成り立っていた経済モデルが、一握りの巨大企業によって根底から覆されようとしているという構造的な危機である。
我々は今、Webの未来を左右する重大な岐路に立っている。
このままAI企業による一方的なコンテンツの“収穫”が続けば、質の高い情報や多様なコンテンツを生み出すインセンティブは失われ、Webは徐々にやせ細っていくだろう。その先にあるのは、AIが生成した真偽不明の情報が氾濫し、信頼できる情報源が枯渇した、創造性の乏しい世界かもしれない。
あるいは、Cloudflareが示すように、コンテンツの価値を正当に評価し、新たなライセンス市場を創設することで、AIとコンテンツクリエイターが共存できる新たな秩序を築くことができるかもしれない。しかし、そのためには、AI企業が社会的責任を自覚し、コンテンツ制作者が自らの権利を主張し、そしてインフラ企業や業界団体が公平なルール作りのためのプラットフォームを提供する必要がある。
毎分39,000回というリクエストの向こう側に見えるのは、私たちの情報アクセスのあり方、そしてデジタル社会における「価値」の定義そのものが問われている現実だ。この問いにどう答えるかによって、未来のインターネットが、誰でも自由に情報を発信しアクセスできる「開かれた広場」であり続けるのか、それとも巨大企業が支配する「壁に囲まれた庭（ウォールドガーデン）」へと変貌するのかが決まるだろう。その選択は、今、我々一人ひとりに委ねられている。
Sources
- Fastly: Q2 2025 Fastly Threat Insights Report [PDF]