Microsoftは米国時間11月15日、シアトルのFanFestで先行配布したXboxの25周年記念誌をオンラインで公開した。次世代Xbox「Project Helix」でPCゲームを遊べることは、3月のゲーム開発者会議GDCで発表していたが、次世代機の開発を担当するJason Ronald氏は記念誌の中で、PCゲームも含めて手軽に遊び始められる操作画面の設計方針を詳しく説明した。また、部品価格が上昇する中、機械学習によって描画処理を効率化する考えも示している。Windows搭載の携帯型ゲーム機や現行Xbox向けの開発資料からは、PCゲームの操作を簡単にする取り組みと、機械学習を使った描画処理の具体的な仕組みが見えてくる。

AD

PCゲームを起動するまでの手間を減らす

Ronald氏は記念誌の中で、HelixをPCゲームにも対応する家庭用ゲーム機として設計すると説明した。専用の操作画面を通じて、プレイヤーが直感的にゲームを探し、素早く起動できるようにする一方、必要に応じて性能に関する詳細な設定も変更できるようにする。同氏は、PCゲームとコンソール向けゲームを同じ画面に表示する携帯型ゲーム機「ROG Xbox Ally」を先行事例として挙げた。同機の利用者から寄せられた意見が、Helixの設計計画にも影響したという。

Windows 11を搭載するROG Xbox Allyでは、他のPCストアからインストールしたゲームもXboxアプリの統合ライブラリに表示し、そこから起動できる。Microsoftが5月に紹介したROG Xbox Allyのアップデートでは、対応テレビにドック経由で接続した際の映像出力設定も簡略化された。テレビにつないでコントローラーで遊ぶ場合、ストアごとに画面を切り替えてゲームを探したり、接続するたびに表示設定を調整したりする手間を減らせる。

ただし、購入済みのゲームを別の機器でも追加費用なしで遊べるかどうかは、作品ごとの利用条件によって決まる。MicrosoftのXbox Play Anywhereでは、対象となるデジタル版をXboxまたはWindowsのストアで購入すると、対応機器に追加費用なしでダウンロードして遊べる。例えば、リビングのXboxで始めた対応作品をWindows搭載機にダウンロードし、同じアカウントで続きをプレイできる。セーブデータだけでなく、実績も引き継がれる。

過去のXbox向けゲームをPCで遊べるようにする取り組みも進んでいる。Microsoftは11月12日、対応市場のWindows 11で遊べる初代Xboxのゲームを21本追加し、対象作品を従来の4本から25本に拡大した。プレイにはダウンロードが必要で、作品によっては購入やGame Passへの加入が求められる。対象の25作品はすべてマウスとキーボードによる操作に対応した。PCからゲームを起動しやすくするだけでなく、作品ごとの動作環境や入力方法も整備している。

ニューラルレンダリングは、どの描画処理を効率化するのか

Ronald氏は記念誌の17ページで、部品価格の上昇を背景に、計算能力やメモリの増強だけに頼らず描画品質を高める技術として、ニューラルレンダリングを挙げている。これは映像を生成する工程の一部にニューラルネットワークを組み込む手法だ。Microsoftは3月のGDCで、HelixにAMD製のカスタムSoCを搭載し、次世代のDirectXやFSRに合わせて共同設計する方針を明らかにしていた。AMDのJack Huynh氏が発表した「FSR Diamond」はHelix向けに最適化される技術で、ゲーム開発キット(GDK)に組み込まれ、超解像、複数フレーム生成、レイの再構成に機械学習を利用するという。

アップスケーリングは、ゲームが低い解像度で描画した画像を、より高い解像度の画像に再構成する技術だ。AMDが公開した現行Xbox向けFSR Upscalingの技術資料によると、画像の色や奥行きに加え、画面上で物体などが移動する方向を表す動きベクトルも利用する。前のフレームの情報も参照することで、最初から出力解像度ですべての画素を描画する場合より少ない画素数で処理を始めながら、動きに応じて細部を補える。ただし、カメラの移動によって物陰から初めて現れた領域では、前のフレームから利用できる情報が限られる。MicrosoftのGDKサンプルにも、アップスケーリングに必要な入力データの仕様が示されている。

レイの再構成は、光の反射や陰影など、光線の経路を計算して求める成分を処理する技術だ。レイトレーシングで追跡する光線の数が少ないと計算結果にばらつきが生じ、映像にノイズが現れる。AMDの現行PC向けレイ再構成技術では、レイトレーシングの結果に機械学習で重みを求めたフィルターを適用し、ノイズを除去する。この処理は、画像の解像度を高めるアップスケーリングとは別の工程となる。

一方、フレーム生成は、ゲームが実際に描画したフレームの間に新しい表示用画像を生成する技術だ。AMDのFSR SDKに関する開発資料でも説明されているように、ゲームが描画するフレームの頻度と、生成したフレームを含めて画面に表示する頻度は区別する必要がある。フレーム生成によって映像の動きを滑らかにできても、それだけで操作への反応が速くなるわけではない。操作性能を評価するには、プレイヤーの入力がゲーム処理に反映され、画面に表示されるまでの遅延を測定する必要がある。

こうした機械学習を使う描画技術にも、学習済みモデルを実行するための計算時間と、処理途中のデータを保持するメモリが必要になる。例えば、内部の描画解像度を下げれば描画負荷を減らせるが、その後に高解像度の画像を再構成する処理が加わる。実際に削減できるGPU時間は、省略できた描画処理と追加された再構成処理の差によって決まり、求める画質によっても変わる。

AD

現行Xboxの開発サンプルで確認された1.11ミリ秒の差

MicrosoftとAMDは11月4日、機械学習を利用する「FSR Upscaling 4.1.2」が、現行のXbox Series X|S向けゲーム開発で利用可能になったと発表した。Microsoftが公開した開発者向け資料には、GDKサンプルで8ビット整数(INT8)のモデルを実行した際のGPU処理時間が掲載されている。Xbox Series Xで4K出力する条件では、アップスケーリング単体の処理時間がFullモデルで3.86ミリ秒、Liteモデルで2.75ミリ秒だった。同じ機種と出力条件で比較すると、LiteモデルはFullモデルより1.11ミリ秒速い。

60 fpsで映像を表示する場合、1フレームに割り当てられる時間は約16.7ミリ秒となる。アップスケーリングで生じた1.11ミリ秒の差は、GPUが各工程に使える時間を考えるうえで無視できない。ただし、短縮した時間を照明や反射など別の描画処理に使えるかどうかは、GPU上での処理順序やCPUからの処理要求が届くタイミングにも左右される。今回の数値はあくまでアップスケーラー単体の測定結果であり、ゲーム全体でどの程度の時間を確保できるかは、すべての処理を通して測定する必要がある。

処理時間とは別に、モデルが使用する作業メモリも確認できる。GDKサンプルの説明書には、内部解像度2560×1440画素から4Kへアップスケーリングする「Quality」設定で、FullモデルとLiteモデルが使用するメモリ量は同じだったと記録されている。この集計には、描画したフレームを画面に順次表示するスワップチェーン用のメモリは含まれていない。AMDの技術資料によると、入出力解像度が同じ場合、両モデルは中間画像などを保持するために同じ大きさの作業領域を確保する。つまり、今回のサンプルではモデルをLiteに変更するとGPU処理時間は短くなるが、作業メモリの使用量は減らなかった。

画質を比較する際には、静止画だけでなくカメラを動かしたときの映像も重要になる。例えば、細い柵や遠景の輪郭が動きの中で安定しているか、物陰から新たに現れた部分の細部がどのように再構成されるかといった点だ。ゲームの同じ場面を動かしながら、目的とする画質を維持できるかを確認すれば、処理時間の短縮によって生まれた余力を、ほかの描画処理にどの程度振り向けられるかを評価できる。

2027年の開発者向けアルファ機で何が分かるのか

Microsoftは2027年から、Helixの開発者向けアルファ機を出荷する計画だ。Ronald氏は記念誌で、Xboxの4世代にわたるゲームライブラリと進行状況を引き継ぐ構想にも言及している。実際にプレイヤーが現在の環境から移行できるかを判断するには、対応するPCストアや旧作の範囲に加え、作品ごとの利用条件が重要になる。例えば、ゲームが統合ライブラリに表示されても、外部ストアで購入した作品をそのまま起動できるか、既存のセーブデータから続きを遊べるかは別の問題だ。一般向けの発売日や価格も、現時点では公表されていない。

描画性能については、同じゲームの同じ場面を使い、出力解像度を統一した比較が必要になる。機械学習モデルだけを変更する場合は内部描画解像度もそろえ、描画方式に合わせて内部解像度を変更する場合は、それぞれの設定を明記する。そのうえで動きのある映像の画質を比較し、各処理のGPU時間と作業メモリを測定する。フレーム生成を利用する場合は、表示フレームレートだけでなく、操作が画面に反映されるまでの遅延も評価対象となる。動きのある場面でも求める画質を維持しながらGPU処理時間を削減できれば、開発者はその余力を照明や反射など、ほかの描画処理に振り向けられる。