AIによる概要機能がおかしな答えを返す事象についてGoogleが解説と対策を発表

2024年6月1日

当記事のリンクにはアフィリエイト広告が含まれています。

Googleは、開発者会議「Google I/O 2024」で、これまでテスト参加者のみに提供されていた検索結果に同社のAIモデルGeminiによる概要の表示を行う「AIによる概要」機能を、大々的に展開することを発表した。これはユーザーがGoogle検索で複雑なクエリを入力すると、Gemini AIが複数のオンラインソースから情報を引き出して検索結果の上に概要を表示すると言うものだ。

しかし、このお節介なAI機能が信じられないような答えを吐き出す事が明らかとなった。“健康のために毎日1個の石を食べる”、“ピザにチーズをくっつけるためにボンドを使え”等々、明らかなデマを堂々と垂れ流し始めたのだ。これについて、Googleは新たにブログを投稿し、釈明を行い、現在行っている対策について報告している。

いくつかの奇妙な検索結果を受けて、GoogleAIにさらなる制限を加えている

Googleはまず、低品質なAIによる出力は稀な事例であり、ソーシャルメディアで共有された例の「非常に多く」は偽物だとしており、問題ないとのスタンスを取っているようだ。Googleによれば、AIによる概要機能は、検索結果にWebサイトの短いテキストを表示する既存の「フィーチャード・スニペット」と同程度に正確であるとしている。

では、実際にAIによる概要機能で間違った出力がなされないのかと言えば、そういうわけではない。ただし、Googleによれば、このような現象は、人々が通常行わないような一般的でない検索に対して起こることがほとんどだったという。

GoogleのAIによる概要機能は、「単純に学習データに基づいて出力を生成するわけではない」とし、AIを搭載したチャットボットや他のLLM製品とは異なる動作をすると述べている。基本的にはカスタマイズされたGeminiモデルによって駆動されるが、Webコンテンツを評価するコアランキングシステムにも接続し、Googleのインデックスから関連性の高い高品質の検索結果を特定するような、従来の「検索」タスクを実行するように設計されている。

そのため、AIによる概要機能は単にテキスト出力を提供するだけでなく、関連するリンクを含み、人々がさらに探索できるようになっている。検索では正確さが最も重要であるため、AIによる概要機能は検索結果でも上位に表示される結果によって裏付けられた情報のみを表示するように構築されているのだ。

そのため、仕組み上、AIによる概要機能は勝手に物事をでっち上げたり、“幻覚”を見たりすることはないという。しかし、AIによる概要機能は「クエリを誤って解釈したり、Web上の言語のニュアンスを誤って解釈したり、多くの優れた情報を持っていなかったり」することで、事態を混乱させる可能性があるとGoogleは述べている。

トピックに関する適切な情報が不足していることも、品質に悪影響を与える。ナンセンスな検索や風刺は、GoogleのAIシステムにとって扱いが難しい。

一例として、同社は“石を何個食べるべきか？”というクエリを挙げている。GoogleのAIは“少なくとも1日1個”と答えた。

(Credit: Google / The Conversation)

この質問に関しては、このクエリの検索がこれまで一度も行われたことがなく、「地質学ソフトウェアプロバイダー」のページに掲載されている、一見関連性がありそうな風刺的な投稿が接続されたと言う。Googleはこれを「データギャップ」と呼んでいる。

他のケースでは、AIの要約にRedditのような場所からの皮肉や大雑把なコンテンツが含まれている。フォーラムでは実体験が共有されることが多いが、悪いアドバイスを与えることもある。「フォーラムはしばしば、本物の生の情報の素晴らしい情報源ですが、場合によっては、ピザにチーズをくっつけるために接着剤を使うような、あまり役に立たないアドバイスにつながることもあります」とGoogleは述べている。

GoogleはAIによる概要を以下のように調整したという：

AIによる概要を表示しないよう、無意味なクエリを検出する。風刺やユーモアの制限
誤解を招くヒントを含む可能性のあるユーザーコンテンツを制限。
役に立たないAIによる概要のトピックに制限を加える。
健康のようなデリケートな分野に対する規制を強化する。
タイムリーで正確さが要求されるニュースのAIによる概要は可能な限り避ける。

コンテンツルールに違反するAIによる概要は削除される。Googleによると、これまでにこのような違反があった検索は700万件に1件以下だという。毎日何十億もの検索があるため、多少のエラーは避けられないとGoogleは主張している。

AIによる概要機能を完全に無効にすることはできないが、検索結果から削除する方法はある。検索結果ページで、検索バーの下にある「More」ボタンをクリックし、ドロップダウンメニューから「Web」フィルターを選択する。ただし、ブラウザーのタブを閉じるか、Googleのホームページに移動すると、フィルターは削除される。

Source