人が実際には存在しないものを見る現象は、しばしば幻覚と呼ばれる。幻覚は、感覚的な知覚が外部からの刺激と一致しない時に発生する。
人工知能に依存するテクノロジーもまた、幻覚（ハルシネーション）を起こすことがある。
アルゴリズムシステムが、もっともらしく見えるが実際には不正確または誤解を招く情報を生成する場合、コンピュータ科学者はそれをハルシネーション（AI）と呼ぶ。研究者たちは、ChatGPTのようなチャットボットからDall-Eのような画像生成器、自動運転車に至るまで、様々なタイプのAIシステムでこのような挙動を発見している。我々は、AIの音声認識システムにおけるハルシネーションを研究している情報科学の研究者である。
AIシステムが日常生活で使用されるところではどこでも、そのハルシネーションはリスクをもたらす可能性がある。単純な質問にチャットボットが間違った答えを出す場合のように、一部は軽微かもしれない – ユーザーは単に誤った情報を得るだけである。しかし他のケースでは、その重要性ははるかに高い。量刑判断にAIソフトウェアが使用される法廷から、患者の補償適格性を決定するためにアルゴリズムを使用する健康保険会社まで、ハルシネーションは人生を変えるような結果をもたらす可能性がある。それは命にかかわることさえある：自動運転車はAIを使用して障害物、他の車両、歩行者を検出する。
作り話をする
ハルシネーションとその影響はAIシステムのタイプによって異なる。大規模言語モデル（AIチャットボットの基礎となる技術）では、ハルシネーションは説得力があるように聞こえるが、不正確、作り話、または無関係な情報の断片である。AIチャットボットは、存在しない科学論文への参照を作成したり、単に間違った歴史的事実を提供したりするが、それを信じられるように聞こえさせる。
例えば、2023年の裁判では、ニューヨークの弁護士がChatGPTの助けを借りて書いた法的文書を提出した。後に見識のある裁判官は、その文書がChatGPTが作り上げた事例を引用していることに気づいた。人間がこのハルシネーションされた情報を検出できなければ、法廷で異なる結果につながる可能性がある。
画像内のオブジェクトを認識できるAIツールでは、AIが提供された画像に忠実でないキャプションを生成するとハルシネーションが発生する。電話で話している女性が胸から上だけ写っている画像にあるオブジェクトのリストを求めたとき、「ベンチに座って電話で話している女性」という回答を受け取ることを想像してみてほしい。この不正確な情報は、正確さが重要な文脈では異なる結果をもたらす可能性がある。
ハルシネーションの原因
エンジニアは膨大な量のデータを収集し、そのデータのパターンを検出する計算システムに供給することでAIシステムを構築する。システムはそれらのパターンに基づいて質問に回答したりタスクを実行したりする方法を開発する。
AIシステムに異なる犬種の1,000枚の写真（それぞれラベル付き）を供給すると、システムはすぐにプードルとゴールデンレトリバーの違いを検出することを学習する。しかしブルーベリーマフィンの写真を与えると、機械学習研究者が示したように、そのマフィンをチワワだと言うかもしれない。
システムが質問や提示された情報を理解していない場合、ハルシネーションを起こす可能性がある。ハルシネーションは、モデルがトレーニングデータから類似した文脈に基づいて穴埋めをする場合や、偏ったり不完全なトレーニングデータを使用して構築されたりする場合によく発生する。これは、誤ってラベル付けされたブルーベリーマフィンの場合のように、誤った推測につながる。
ハルシネーションと意図的に創造的なAI出力を区別することが重要である。AIシステムが創造的であることを求められた場合 – 物語を書いたり芸術的な画像を生成したりするような場合 – その新しい出力は期待され望まれている。一方、ハルシネーションは、AIシステムが事実情報の提供や特定のタスクの実行を求められたにもかかわらず、不正確または誤解を招くコンテンツを生成し、それを正確なものとして提示する場合に発生する。
主な違いは文脈と目的にある：創造性は芸術的なタスクには適切であるが、ハルシネーションは正確性と信頼性が求められる場合に問題となる。
これらの問題に対処するために、企業は高品質のトレーニングデータを使用し、AIの応答を特定のガイドラインに従うように制限することを提案している。それにもかかわらず、これらの問題は一般的なAIツールにおいて存続する可能性がある。
リスクとは
ブルーベリーマフィンをチワワと呼ぶといった出力の影響は些細なことのように思えるかもしれないが、画像認識システムを使用する様々な種類のテクノロジーを考えてみよう：物体を識別できない自動運転車は、致命的な交通事故につながる可能性がある。標的を誤認識する自律型軍用ドローンは、民間人の命を危険にさらす可能性がある。
自動音声認識を提供するAIツールの場合、ハルシネーションとは実際には話されなかった単語やフレーズを含むAI転写である。これは特に騒がしい環境で発生しやすく、AIシステムは通過するトラックや泣いている赤ちゃんなどのバックグラウンドノイズを解読しようとする試みで、新しいまたは無関係な単語を追加してしまう可能性がある。
これらのシステムが医療、社会サービス、法的環境に定期的に統合されるようになるにつれて、自動音声認識におけるハルシネーションは、患者、刑事被告人、または社会的支援を必要とする家族に害を与える不正確な臨床的または法的結果につながる可能性がある。
AIの作業をチェックする
AI企業のハルシネーションを軽減する取り組みにかかわらず、ユーザーは警戒を怠らず、特に精度と正確性が求められる文脈でAI出力に疑問を投げかけるべきである。信頼できる情報源でAIが生成した情報を再確認し、必要に応じて専門家に相談し、これらのツールの限界を認識することは、そのリスクを最小限に抑えるための不可欠なステップである。
