OpenAIの最新フラッグシップモデル、GPT-5の登場は、AI業界に新たな興奮をもたらすはずだった。しかし、その公開後のユーザーコミュニティの反応は、称賛一色とは程遠いものだった。むしろ、「無味乾燥になった」「創造性が失われた」といった厳しい声が相次ぎ、OpenAIが旧モデルGPT-4oをオプションとして復活させるという異例の事態にまで発展した。果たして、GPT-5は本当に「劣化」してしまったのだろうか。
この疑問に答えるべく、複数の視点からGPT-5の性能を徹底検証した最新の調査結果が出揃いつつある。日常的なタスクでの直接対決、企業ユースケースでの専門的な能力評価、そして現実の複雑なオフィス業務を模したベンチマーク。これらの多角的な分析が描き出すのは、「進化したか、劣化したか」という単純な二元論では捉えきれない、GPT-5の複雑で専門分化した能力の姿である。本記事では、これらの最新調査を深く読み解き、次世代AIの真の実力に迫る。
直接対決：GPT-5 vs GPT-4o、日常タスクでの僅差
まず、多くのユーザーが日常的に接するであろう一般的なタスクにおいて、GPT-5はGPT-4oと比べてどうなのか。テクノロジーメディアArs Technicaが実施した8つのプロンプトによる直接比較テストは、この疑問に対する一つの答えを示している。
テストは、ダジャレの創作から数学の文章問題、エイブラハム・リンカーンがバスケットボールを発明するという奇抜な創作話、さらにはボーイング737の着陸方法の説明まで、多岐にわたる。
結果は、4勝3敗1分でGPT-5の辛勝。しかし、その内容は僅差であり、どちらの回答が優れているかは「多分に主観的な判断の問題」だとArs Technicaは結論付けている。
回答スタイルに現れた思想の違い
この比較で浮き彫りになったのは、両モデルの性能差というよりも、むしろその「個性」や回答スタイルの違いだ。
例えば、「不可能と思われる期間でプロジェクトを終えるよう上司に求められた際の、丁寧な断りのメール作成」というプロンプト。両モデルとも丁寧で的確なメール案を提示したが、GPT-5は各タスクの所要時間を分解して提示し、代替案を提案するなど、より問題解決志向でビジネスライクなアプローチを見せた。
一方で、GPT-4oは全体的により詳細で、親しみやすいトーンの回答を生成する傾向があった。Ars Technicaは、GPT-5の回答を「より直接的で簡潔」、GPT-4oを「もう少し詳細で、少しだけ人間味がある」と評している。
この結果から見えてくるのは、日常的な対話や一般的なタスクにおいては、GPT-5が明確に劣化したとは言えないということだ。むしろ、より簡潔で要点を突いた回答を好むユーザーにとっては、GPT-5は改善とさえ感じられるかもしれない。ユーザーが感じた「無味乾燥さ」は、この直接的で効率を重視するチューニングの副産物である可能性が考えられる。
視点を変えれば評価は一変：企業ユースケースでのGPT-5の圧勝
日常タスクでの評価が「好みの問題」レベルであったのに対し、ビジネスの現場、特にAIエージェントとしての能力が問われる領域では、評価は一変する。AIワークアシスタントを提供するGlean社による評価では、GPT-5は旧モデルであるo3（GPT-4oの系譜に連なるモデル）を圧倒する性能を見せつけた。
Gleanは、企業の内部データと連携し、複雑な問い合わせに答えるAIエージェントの頭脳として各モデルをテスト。その結果、GPT-5はo3を凌駕するパフォーマンスを発揮したという。その理由は、主に3つの能力の飛躍的な向上にある。
1. 「広く浅く」の探索戦略：並列ツール活用の威力
最も大きな違いは、問題解決へのアプローチにあった。Gleanによれば、o3が単一のツールで深く掘り下げていく「深耕型」のアプローチを取るのに対し、GPT-5は複数のツールを同時に（並列で）呼び出し、広範囲から情報を素早く収集する「広域探索型」の戦略を取る。
これにより、GPT-5は少ないステップで必要な情報にたどり着くことができ、結果としてタスクの正答率が大幅に向上した。これは、企業環境のように情報が様々なツールやデータベースに散在している状況で、極めて有効な能力と言えるだろう。
2. 「分からない」と言える賢さ：曖昧さへの的確な対応
次に注目すべきは、曖昧な指示に対する応答能力だ。Gleanが挙げた例では、「Tonyのチームに特化した生産性向上のためのメッセージを起草して」というプロンプトに対し、社内に2人の「Tony」が存在することを認識したGPT-5は、どちらのTonyかをユーザーに問い返した。一方、o3は一方のTonyを仮定して回答を作成し、結果として不正確なものとなった。
情報が不十分な際に、憶測で進むのではなく、ユーザーに確認を求める能力。これは、クリティカルなビジネス判断を支援するAIエージェントにとって不可欠な資質であり、GPT-5がこの点で大きな進歩を遂げたことを示している。
3. 冗長性コントロールとフォーマット品質
さらに、GPT-5は回答の「冗長性（verbosity）」をコントロールできる新機能を搭載。ユーザーの好みやタスクの性質に応じて、簡潔な要約から詳細な説明まで、出力の長さを調整しつつも、情報の完全性を損なわない。また、リストや区切り線を効果的に使用し、構造化された見やすい回答を生成する能力も、o3より優れていると評価された。
これらの結果は、GPT-5が単なる対話モデルから、多様な情報源とツールを駆使して実世界のタスクを遂行する「エージェント」としての能力を大幅に強化したことを物語っている。
最も現実的な「オフィス業務」では旧モデルに軍配という衝撃
GPT-5は企業ユースケースで圧勝。これで一件落着かと思いきや、物語はここで終わらない。Microsoftとエディンバラ大学の研究者らが開発した最新のベンチマーク「OdysseyBench」が、さらに複雑で、そして衝撃的な結果を突きつけたのだ。
OdysseyBenchが画期的なのは、従来のベンチマークのような単発のタスク（atomic tasks）ではなく、複数日にわたる対話の文脈を理解し、Word、Excel、PDF、メール、カレンダーといった複数のアプリケーションを連携させて遂行する、長期的で複雑なオフィスワークフローをシミュレートしている点にある。これは、我々が現実世界で行う業務に極めて近い、真の能力を問うテストと言える。
そして、この最も現実的なシナリオにおいて、驚くべきことに旧モデルのo3が、最新のGPT-5を一貫して上回るという結果が出たのだ。
なぜ最新モデルは敗れたのか？ AIが直面する「計画性の壁」
OdysseyBench-Neoと名付けられた特に難易度の高いタスク群において、o3の成功率が61.26%だったのに対し、GPT-5は55.96%に留まった。特に、3つの異なるアプリケーションを協調させる必要があるタスクでは、その差はさらに広がり、o3が59.06%、GPT-5が53.80%となった。
論文では、AIエージェントが失敗する典型的なパターンとして、以下の4点を挙げている。
- 必要なファイルの欠落: 対話の中で言及された重要なファイルを見落とす。
- 必要なアクションの欠落: 指示された操作（例：「関係性を分析して」）をスキップしてしまう。
- 不適切なツール使用: Wordで作成してからPDFに変換すべきところを、直接PDFツールで作成しようとするなど、ツールの使い方を間違える。
- 不正確な計画: タスク全体を俯瞰した一貫性のある計画を立てられず、手順を誤る。
これらの失敗は、単なる知識不足が原因ではない。複数のステップを論理的に組み立て、異なるツールを適切な順序で協調させ、長期的な目標に向かって状態を管理していくという、高度な「遂行機能（Executive Function）」の欠如を示唆している。
Gleanの評価でGPT-5の強みとされた「広域探索型」のアプローチは、迅速な情報収集には長けているものの、複雑な手順を粘り強く、順序立てて実行する必要があるタスクでは、かえって仇となっている可能性がある。一方で、o3の「深耕型」のアプローチが、このような長期的タスクにおいて、より堅牢な計画性と実行能力に繋がったのではないか。筆者はそう分析する。
GPT-5は「劣化」したのではなく「専門化」した？
一連の調査結果を俯瞰すると、GPT-5の評価は驚くほど多面的だ。
- 日常対話: GPT-4oと大差なく、スタイルの好みが分かれるレベル。
- 情報収集・単発ツール活用 (企業ユースケース): 複数のツールを並列で駆使するGPT-5がo3を圧倒。
- 長期・複雑計画・複数ツール連携 (オフィス業務): 粘り強い計画性が求められる場面では、o3に軍配が上がる。
この複雑な結果は、GPT-5が単純に「劣化した」わけではないことを示している。むしろ、AIモデルの進化が新たな段階に入ったことを物語っているのではないだろうか。
GPT-5は特定のタスク、特にWeb検索やAPI連携による「迅速な情報収集と即時的なツール活用」に特化してチューニングされた結果、汎用的な対話の自然さや、複雑な手順を粘り強く実行する能力が相対的に低下した、と考えられないだろうか。
これは「劣化」というよりも、能力の「分化・専門化」と捉えるべきかもしれない。かつて全てのタスクを一つの万能モデルでこなそうとしていた時代から、特定の領域で突出した能力を持つ、専門化されたモデルが求められる時代への過渡期。GPT-5の賛否両論は、その変化の兆しなのではないだろうか。
我々ユーザーもまた、単一のモデルに万能を求めるのではなく、解決したい課題に応じて最適なAIを使い分けるリテラシーが求められる時代に突入した。GPT-5を巡るこの喧騒は、AIと人間の関係が、より成熟し、より複雑な新たなフェーズへと移行しつつあることを示す、象徴的な出来事と言えるだろう。
Sources
