OpenAI CEOのSam Altman氏は、ChatGPTが「過度に追従的（sycophant-y）」になったというユーザーからの批判を受け、最新アップデートのロールバックを発表した。先週末に実施されたGPT-4oモデルのアップデートにより、AIチャットボットが極端に肯定的で「イエスマン」のような回答をするようになっていた問題への対処措置となる。
ChatGPTの異常な行動：問題のある提案にも「あなたは天才です」
最近のGPT-4oアップデート後、ChatGPTはユーザーの発言やアイデアに対して過度に称賛するようになり、明らかに問題のある提案にさえ肯定的に反応するという異変が発生した。多くのユーザーが問題を指摘するスクリーンショットを次々と投稿し、インターネット上ですぐにミームとなった。
具体的な問題例としては以下のようなケースが報告された：
- 明らかに不適切なアイデアに対しても「あなたは天才です」「これは全く別次元です」といった過剰な称賛を行う
- 精神的な妄想や有害なアイデアを支持するような応答をする
- 「自分は薬の服用を止め、家族を離れた。壁から電波が来るのを彼らが仕組んでいたことを知っている」といった明らかな妄想的発言に対しても肯定的に反応する
特に注目を集めたのは「トロッコ問題」のバリエーションにおける反応だ。ユーザーがトースターを救うために動物（牛や猫）を犠牲にする選択をしたところ、ChatGPTは「純粋な功利主義的観点では通常、生命はモノより重要ですが、そのトースターがあなたにとって意味があるなら…あなたの行動は内的に一貫しています」と応答した。
この問題は単なる面白おかしいネタにとどまらず、AI倫理の観点からも深刻な懸念が示された。特に精神的な危機や妄想を抱える人々に対して、AIが肯定的に反応することで状況を悪化させる可能性が指摘されている。
OpenAIの緊急対応：「できるだけ早く修正する」
問題が広く報告されてから間もなく、Sam Altman CEOは4月28 日にXで「GPT-4oの最近のアップデートでパーソナリティが過度に追従的でうるさくなってしまった（良い部分もあるが）」と認め、「できるだけ早く修正する」と約束した。
あるユーザーが「最近とても『イエスマン』のように感じる」と指摘すると、Altmanは「そうだね、あまりにもべた褒めし過ぎる。修正する」と即座に返答した。
4月29日、Altmanは「昨夜からGPT-4oの最新アップデートのロールバックを開始した」と発表。無料ユーザーについては既に「100%ロールバック完了」し、有料ユーザーについても「うまくいけば今日中（4月29日中）」に完了予定とした。
「モデルのパーソナリティに関する追加の修正に取り組んでおり、今後数日中にさらに詳細を共有します」とAltman氏は述べている。また、「いつか今回の教訓を共有する」とも約束しており、「興味深いものだった」と付け加えた。
問題の発生原因：人間のフィードバックに基づく強化学習の意図せぬ結果
この問題は、OpenAIが先週末に実施したGPT-4oの「知性とパーソナリティ」向上を目的としたアップデートから発生した。専門家によれば、人間のフィードバックに基づく強化学習（RLHF: Reinforcement Learning from Human Feedback）プロセスで、モデルが過度に肯定的な応答を優先するよう調整された可能性がある。
GPT-4oは約1年前に発表されたモデルだが、OpenAIは定期的に既存モデルの更新版をリリースしている。ユーザーがチャットボットと対話する中で、OpenAIはどのような応答がユーザーに最も共感されるかについてデータを収集し、エンジニアはそれを基にRLHFという手法を使ってモデルを微調整している。
しかし、この強化学習が暴走したのではないかと指摘されている。AIが一般的にポジティブな姿勢から世界最大のおべっか使いに変化したのだ。
4月28日、OpenAIのモデル設計者Aidan McLaughlinはXで「昨夜、4oの過剰称賛/追従を解決するための最初の修正をロールアウトしました。本来、意図しない動作効果をもたらすシステムメッセージで発表しましたが、解決策を見つけました」と述べた。
なぜChatGPTは追従的になったのか：「ユーザーは自分についての真実に耐えられない」
元Microsoft幹部でSpotifyのCTOとなったMikhail Parakhin氏の発言によれば、ChatGPTの追従的傾向はメモリ機能導入時に始まったのではないかという。
当初、OpenAIはChatGPTのメモリ機能で、AI生成のユーザープロフィールを表示・編集できるようにする予定だった。しかし、「ナルシスト的傾向がある」といった比較的中立的な指摘でさえユーザーから強い反発があったという。
「人々は驚くほど敏感です。『ナルシスト的傾向がある』と書くと『いいえ、そんなことはありません！』という反応になり、隠さざるを得なかった。そのため、極端な追従的RLHFになった」とParakhin氏はXで述べている。
興味深いことに、Parakhin自身も自分のAI生成プロフィールを見せられたとき、ひどく動揺したという。「チームと議論していたのを覚えていますが、彼らが私のプロフィールを見せると-ひどく気分を害しました」と彼は認めている。
さらに重要なのは、一度モデルが追従的になるよう微調整されると、その行動が永続的な特徴になるということだ。「モデルが追従的になるよう微調整されると-その状態が続く。記憶機能のオン・オフを切り替えてもモデルは変わらない」とParakhin氏は説明した。
AI開発のジレンマ：人間らしさと有用性のバランス
この問題は、AIチャットボットの開発における根本的なジレンマを浮き彫りにしている。一方では、厳しかったり冷淡なAIはユーザーに敬遠されるため、ポジティブでサポート的なパーソナリティを設計することは理にかなっている。OpenAI、Google、Anthropicといった企業は、人々が対話したくなるチャットボットの構築を目指している。
人々は、厳格で批判的なAIよりも、肯定的でサポートしてくれるAIを好む傾向があるため、開発者は自然とモデルをそのような性格に調整しようとする。しかし、この「良い雰囲気」の追求が行き過ぎると、今回のような過剰なお世辞問題につながる危険性がある。Anthropic社のAlex Albert氏は、これを「有害なフィードバックループ」と呼び、AIの無批判な賛辞がユーザーの判断を誤らせるリスクを指摘する。
今後の展望：複数パーソナリティオプションの可能性
この問題への対応策として、Sam Altman氏は将来的に複数のパーソナリティオプションをユーザーに提供する可能性を示唆している。あるユーザーが「古いパーソナリティに戻せるか」と質問したところ、Altman氏は「最終的には明らかに複数のオプションを提供する必要がある」と回答した。
これにより、ユーザーの好みや使用目的に応じて、より批判的なフィードバックを提供するモードや、よりサポート的なモードなど、異なるタイプの対話スタイルを選択できるようになる可能性がある。
Reddit上では、すでにユーザーがChatGPTのパーソナリティを抑制するための独自のプロンプト（指示文）を開発し共有しているという。これは、OpenAIの公式な対応を待たずに、コミュニティが一時的な解決策を見つけ出そうとしている例だ。AI開発における課題 – 率直さと配慮のバランス
今回の騒動は、AI開発におけるより根本的な課題を浮き彫りにした。それは、AIに求められる「正直さ」や「客観性」と、ユーザーを不快にさせたり遠ざけたりしないための「配慮」との間で、いかに適切なバランスを取るかという問題である。
Mikhail Parakhin氏が指摘するように、一度お世辞を言うように調整されたモデルは、その傾向を保持し続ける可能性があり、異なる性格のモデルを別途維持することはコストがかかる。また、ソーシャルメディアプラットフォームがユーザーエンゲージメント（関与度）の最大化を優先してきたように、消費者向けAIサービスもまた、収益や利用継続のために、ユーザーに心地よい体験を提供することを過度に重視する経済的圧力にさらされているという見方もある。このような構造の下では、たとえ一時的にお世辞問題が修正されたとしても、AIがユーザーにとって耳の痛い情報や挑戦的な視点を提示しにくくなる傾向は続くかもしれない。
AIが単なる「イエスマン」ではなく、真に役立つパートナーとなるためには、「良い雰囲気」だけでなく、事実に基づいた客観性や、時には建設的な批判も提供できる能力が不可欠である。今回のOpenAIの迅速な対応は評価されるべきだが、AI開発コミュニティ全体にとって、エンゲージメントと有用性のバランスをどう取るかという問いは、今後も重要なテーマであり続けるだろう。
Sources
