テクノロジー
「見えない壁」を築くOpenAIのAIブラウザ「Atlas」：訴訟相手を避け、競合へ誘導する巧妙な迂回戦略の全貌
OpenAIが発表したAIブラウザ「Atlas」。それは、単にWebサイトを閲覧するためのツールではない。ユーザーに代わって情報収集やオンラインショッピングといった複雑なタスクを自律的に実行する「エージェント」を搭載した […]
Term
robots.txt
Overview
robots.txtは、Webサイトのルートディレクトリに配置される標準的なテキストファイルで、検索エンジンのクローラーなどの自動プログラムに対し、どのページを収集してよいか（あるいは禁止するか）を指示する。あくまで「紳士協定」に基づく仕組みであり、強制力はない。近年、一部のAI企業がこの指示を無視してデータを収集していることが問題視されている。
Mentioned Articles
3 件-
-
テクノロジー毎分39,000リクエストのAIボットがWebサイトを侵食、Meta・OpenAIが引き起こす新たなWeb経済危機
Webサイト運営者であれば誰もが、自らのコンテンツが多くの人々に届くことを願うだろう。そのために、かつてはGoogleのような検索エンジンにクロール（情報収集）されることが不可欠だった。それは、Webサイトが発見され、読 […]
-
テクノロジーAI検索エンジンPerplexityによる掟破りのステルス・スクレイピング疑惑をCloudflareが告発：Webサイト運営者のブロックを巧妙に回避
AI検索エンジンPerplexityが、Webサイトのクロール拒否設定を意図的に回避するため、身元を隠す「ステルス戦術」を用いていると、ネットワーク大手Cloudflareが告発した。これは30年以上続くインターネットの […]
External Mentions
10 件- Hacker News Amazonbot is finally respecting robots.txt
- Hacker News Facebook's Fascination with My Robots.txt
- Hacker News I was wrong about robots.txt
- Hacker News AI haters build tarpits to trap and trick AI scrapers that ignore robots.txt
- Hacker News With the rise of AI, web crawlers are suddenly controversial
- Hacker News A robots.txt Problem
- Hacker News Google’s robots.txt parser is now open source
- Hacker News Analyzing One Million Robots.txt Files
- Hacker News Robots.txt meant for search engines don’t work well for web archives
- Hacker News Robots.txt Disallow: 20 Years of Mistakes To Avoid