テクノロジー
AI検索エンジンPerplexityによる掟破りのステルス・スクレイピング疑惑をCloudflareが告発:Webサイト運営者のブロックを巧妙に回避
AI検索エンジンPerplexityが、Webサイトのクロール拒否設定を意図的に回避するため、身元を隠す「ステルス戦術」を用いていると、ネットワーク大手Cloudflareが告発した。これは30年以上続くインターネットの […]
別名: User Agent
Webブラウザやクローラーなどのクライアントソフトウェアが、Webサーバーにアクセスする際に送信する識別文字列。OSの種類、ブラウザのバージョン、レンダリングエンジンなどの情報が含まれる。サーバー側はこの情報を基にコンテンツの最適化やアクセス制限を行うが、クローラーが正体を隠すために一般的なブラウザの文字列を装う「偽装」が問題となることがある。