PS6のゲーム体験を変えるか？ ソニーが次のフレームをAIで先読みする新技術を考案

ソニー・インタラクティブエンタテインメント（SIE）が出願した、ゲームの次の画面をAIで予測する技術の特許公報が、2026年10月15日に米国で公開された。「Generation Super Sampling」と題する公報では、GPUが次のフレームを描画し終える前に、過去の画像やコントローラーの入力情報を基に生成した予測画像を表示する仕組みが説明されている。前後2枚の実際のフレームから中間画像を生成する従来の補間方式とは異なり、次のフレームの完成を待たずに画像を表示できることが特徴だ。表示までの待ち時間を減らせる可能性がある一方、予測精度や、実際に描画されたフレームへ切り替える際の表示制御が課題となる。

次のフレームが完成する前にAIが画像を生成

今回公開された特許出願の番号は「US 2026/0320740 A1」で、出願人はSIE、発明者はDenis Dupeyron氏となっている。出願日は2026年6月23日だが、公報の表紙には、2023年12月21日に出願された米国特許出願18/393,547を基にした継続出願であることが記載されている。したがって、今回の公開は、ソニーが2026年10月に初めてフレーム予測技術を考案したことを意味するものではない。また、あくまで特許出願の内容が公開された段階であり、製品への搭載が決まったわけでもない。

技術の中心となるのは、エンコーダーとデコーダーを組み合わせた構成だ。エンコーダーは入力された画像から特徴を抽出し、それらを数値データに変換する。デコーダーはその情報を基に、次の時点で表示されるはずの画像を予測して生成する。最新の画像だけでなく、さらに前の画像や、画面内の物体がどの方向にどれだけ動いたかを表す「動きベクトル」を利用する構成も示されている。

AIの学習には、時間的に連続する映像を利用する。過去の画像から次の画像を予測させ、実際の映像との差が小さくなるようにモデルを訓練する仕組みだ。入力画像そのものを復元する一般的なオートエンコーダーとは異なり、時間的に先の画像を生成するよう学習させる点に特徴がある。学習用の映像には実際の次のフレームが含まれるため、それを正解データとして予測結果と比較できる。公報には、複数の未来のフレームをまとめて予測する構成も記載されている。

学習済みモデルによる処理の流れは、公報の図4で説明されている。AIが予測画像を生成する処理と、通常のグラフィックス処理によって次の実フレームを描画する処理を並行して進め、予測画像を先に表示した後、実際に描画されたフレームを表示する構成だ。GPUによる通常の描画処理が完了するまで待つ代わりに、より軽い予測処理によって表示を先行させることを狙っている。ただし、実際に待ち時間を短縮できるかどうかは、AIによる予測処理を十分に高速化できることが前提となる。

従来のフレーム補間との違いは「次の実フレームを待たない」こと

AMDはFSR Frame Generationの公式技術説明で、連続する2枚の入力画像から、その間に位置するフレームを機械学習によって生成する仕組みを説明している。AIで新たなフレームを生成するという点では、ソニーの特許に記載された技術と共通している。しかし、両者には画像を生成するために必要な情報と、その情報を利用できるタイミングに大きな違いがある。

最大の違いは、生成したい時点より後の実フレームが完成するまで待つ必要があるかどうかだ。 ソニーの公報に記載された方式と、AMDの機械学習を利用したFSR Frame Generationを比較すると、次のようになる。

比較項目	ソニーのフレーム予測技術	AMDのML版FSR Frame Generation
使用する画像	すでに描画された画像。過去の複数フレームを利用する構成もある	生成対象の前後に位置する連続した2枚の画像
画像を生成するタイミング	次の実フレームが完成する前	前後の実フレームがそろった後
AIの役割	過去の情報から未来の画像を予測	前後の画像から中間の動きを補間
技術上の主な課題	まだ描画されていない場面の変化を正確に予測する必要がある	後の時点の実フレームが完成するまで待つ必要がある

この比較は、ソニーの特許公報の図4および段落[0035]〜[0037]と、AMDの「ML-powered frame interpolation」に関する説明に基づくものだ。2026年10月19日時点の公開資料から、必要な入力画像とその利用タイミングを整理しており、両方式の実際の性能を比較したものではない。

なお、ソニーの公報には、AIを使わずに次の画像を予測する方式も記載されている。過去の画像から画素のまとまりであるブロックの動きを検出し、同じ方向と速度で動き続けると仮定して、その位置を先の時点へ移動させる方法だ。つまり、過去の情報から未来の画像を予測するか、前後の実画像から中間画像を補間するかという違いと、その処理にAIを使うかどうかは、別々の設計上の選択となる。

また、画面に表示するフレーム数が増えることと、ゲームの操作に対する応答性が向上することも区別する必要がある。例えば、ゲームが毎秒60フレーム（60fps）で描画され、その間に生成画像を1枚ずつ挿入して120fpsで表示できれば、画面の更新間隔は約16.7ミリ秒から約8.3ミリ秒へ短くなる。ただし、これは1,000ミリ秒をフレームレートで割った計算上の例であり、ソニー方式の実測値ではない。映像の更新頻度が増えても、ゲーム内の衝突判定や確定した状態まで同じ割合で更新されるわけではないため、表示の滑らかさと操作への応答性は分けて評価しなければならない。

コントローラー入力で予測精度を高める仕組み

ソニーの公報では、過去の画像に加えてコントローラーの入力情報を利用する構成も示されている。これは、画像だけでは把握できないプレイヤーの操作を、次のフレームの予測に反映させるためだ。例えば、プレイヤーがジャンプボタンを押した場合、その後の数フレームにはキャラクターのジャンプ動作が現れると予想できる。過去の画像から動きの傾向を読み取るだけでは予測しにくい変化も、すでに入力された操作情報を利用することで、より正確に推定できる可能性がある。

動きベクトルが物体のこれまでの移動方向や距離を表すのに対し、コントローラー入力はプレイヤーが現在どのような動作を指示しているかを補足する情報となる。ただし、操作入力の利用は必須ではなく、追加情報として使うことが想定されている。また、この仕組みは将来プレイヤーが押すボタンを予知するものではなく、すでに行われた操作を基に次の画像を推定するものだ。公報には、画像内で似たブロックを探して動きベクトルを算出する方法も示されており、ゲームエンジンが出力する移動情報の利用に限定されているわけではない。

一方、操作情報が分かっていても、次の画面に現れるすべての情報を正確に予測できるとは限らない。例えば、プレイヤーがカメラを横に動かして、それまで壁の陰に隠れていた場所が見えるようになった場合、過去の画像には新たに現れる背景の情報が含まれていないことがある。また、自分のコントローラー入力から、対戦相手の最新の動作まで正確に推定することもできない。AIが実フレームより早く画像を生成できたとしても、その内容が実際のゲーム状態と一致しているかは別の問題となる。

こうした課題は、過去の研究でも指摘されている。Intelとカリフォルニア大学サンタバーバラ校の研究者がSIGGRAPH Asia 2023で発表した「ExtraSS」は、超解像とフレーム予測を組み合わせた技術だ。この研究では、それまで隠れていた領域が新たに見える場面で発生する残像や、物体の動きベクトルだけでは正確に扱いにくい影・反射の変化に対して、それぞれ専用の処理を設けている。単純に過去の画像内の物体を移動させるだけでは、次の画面を正しく再現できないことを示している。

後続研究であるGFFE（arXiv:2406.18551）でも、隠れていた領域の情報が不足する問題や、ゲームエンジンから追加の描画情報を取得するために必要な実装作業が課題として挙げられている。これらの研究は、ソニーが今回の特許で採用した技術や、その性能を示すものではない。しかし、フレーム予測を実際のゲームに導入する際に、どのような問題を解決する必要があるかを理解する手掛かりになる。

AMDもFSRのフレーム補間について、補間前のフレームレートが60fps以上であることを推奨しており、元のフレームレートが低くなるほど画像の乱れが目立ちやすいと説明している。この推奨値をそのままソニーの予測方式に当てはめることはできないが、生成フレームを増やすだけでは、低いフレームレートに伴う問題を必ずしも解決できないことを示す例といえる。

遅延の削減には、予測画像と実フレームの表示制御も重要

ソニーの特許公報には、予測画像と実際に描画されたフレームの表示順序を制御する仕組みも記載されている。段落[0037]では、次の実フレームの描画が完了しても、先に生成した予測画像の表示が終わるまで、その実フレームの表示を遅らせる方法が示されている。これは、複数の予測画像を順番に表示している途中に実フレームが割り込み、表示順序が乱れるのを防ぐためだ。したがって、次の実フレームを待たずに予測画像を生成できても、表示制御に伴う待ち時間まで完全になくなるとは限らない。

さらに段落[0038]では、予測画像と実フレームの画素を比較し、両者が一致するか、その差が所定の閾値より小さい場合には、実フレームを表示しないという方法も提案されている。この場合、表示を省略した実フレームは、その後の予測に使う入力として利用できる。ただし、これはすでに描画された実フレームを画面に表示するかどうかの制御であり、通常の描画処理そのものを省略する技術ではない。

今回の特許で重要なのは、従来のフレーム補間とは異なり、次の実フレームが完成する前に画像を表示できることに加え、その後に実際の描画結果をどのように扱うかまで考慮されている点だ。ただし、AIによる予測処理にも計算時間が必要であり、通常の描画処理とGPUなどの計算資源を共有する場合には、その負荷も考慮しなければならない。また、予測画像を早く表示できても、操作に対して正しい画面が表示されなければ、ゲーム体験の改善につながるとは限らない。予測精度と表示遅延の両方を評価することが重要になる。

現時点で公開されている公報には、特定のハードウェアで測定した入力から表示までの遅延や、予測画像の品質に関する試験結果は記載されていない。また、PS5 Proや将来のPS6への搭載予定、実用化の時期についても明らかになっていない。そのため、特許出願の公開をもって、ソニーのゲーム機に新たなフレーム生成機能が搭載されると判断することはできない。

今後、実際の製品に採用された場合には、同じゲームと画質設定でフレーム予測を有効・無効にした比較に加え、急激な視点移動や予測が外れやすい場面での画質、入力から表示までの遅延などが重要な評価項目となる。こうした条件でも正確な画像を従来より早く表示できれば、フレーム予測は単に映像を滑らかに見せるだけでなく、プレイヤーの操作に対する応答性を改善する技術としても期待できる。