NVIDIAとMicrosoftは、ゲーム開発者向けにDirectXパイプライン内でAIを活用できる「ニューラルシェーディング」技術を共同開発し、4月のDirectXプレビューで提供を開始すると発表した。この技術により、NVIDIA RTX GPUのAI演算に特化したTensorコアを利用したグラフィックス処理が可能になり、ゲームのパフォーマンスと画質を大幅に向上出来ることが期待されている。
ニューラルシェーディングとは
ニューラルシェーディングは、AIと従来のレンダリング技術を組み合わせた新しいグラフィックスプログラミング手法である。従来のコンピュータグラフィックス処理では、あらかじめプログラムされたアルゴリズムに基づいて画像が生成されていたが、ニューラルシェーディングではゲームのグラフィックスパイプライン内で小さなニューラルネットワーク（AI）を実行し、テクスチャ、マテリアル、ライティング、ボリュームなどを生成することが可能になる。
この技術の中核となるのが「Cooperative Vectors（協調ベクトル）」と呼ばれる機能で、これによりピクセルシェーダーなどのシェーダーステージ内でニューラルネットワークをGPUを独占することなく実行できるようになる。Cooperative Vectorsは行列-ベクトル乗算に依存するため、NVIDIA製GPUのTensorコア（行列演算に特化した専用ユニット）のような専用ハードウェアが必要となる。
Microsoft Direct3D開発マネージャーのShawn Hargreaves氏は次のように述べている。「MicrosoftはDirectXとHLSL（High Level Shading Language、シェーダープログラミング用の高水準言語）にCooperative Vector対応を追加し、4月からプレビューを開始します。これによりゲーム業界全体でニューラルレンダリングが可能になり、グラフィックスプログラミングの未来を進化させます。NVIDIA RTX GPUのTensor Coresを活用することで、開発者はRTX Neural Shadersを完全に活用し、Windowsでよりリッチで没入感のある体験を提供できるようになります」
ニューラルシェーディングの利点と応用例
ニューラルシェーディングは、ゲーム性能と画質に複数の面で大きな改善をもたらす。NVIDIAによると、この技術により以下の具体的な利点がある。
「RTX Neural Texture Compression（RTXニューラルテクスチャ圧縮）」は、ゲーム内のテクスチャ（物体の表面の見た目を決める画像データ）をAIで圧縮する技術で、標準的なテクスチャ圧縮と比較してVRAM（ビデオメモリ）の使用量を7分の1以上削減できる。これは特に8GBのVRAMを搭載したGPUユーザーにとって重要な進展だ。例えば、8GB RTX 4060は『インディ・ジョーンズ/大いなる円環』などのメモリ要求の高いゲームで大きく性能が低下することが報告されている。
「RTX Neural Materials（RTXニューラルマテリアル）」は、ゲーム内の物体の材質や質感を表現する複雑なシェーダー（特殊効果プログラム）を、品質やフレームレートを損なうことなく最大5倍高速に処理できる技術だ。
「RTX Neural Radiance Cache（RTXニューラル放射キャッシュ）」は、光の反射や屈折などの間接照明をシミュレーションするパストレーシングの処理性能を大幅に向上させる技術で、現在RTX Remix（古いゲームを最新のグラフィックスで再現するためのプラットフォーム）で利用可能になっている。
これらの技術の実用例として、NVIDIAは「Zorah」と呼ばれるテクノロジーデモを更新し、数百万の三角形（3Dモデルの基本単位）、複雑な髪の毛のシステム、映画のような照明をリアルタイムで表示している。このデモでは、ReSTIR Path Tracing（効率的な光線追跡）、ReSTIR Direct Illumination（直接照明の最適化）、RTX Mega Geometry（複雑な形状の処理）、RTX Hair（髪の毛の表現）などの最新のニューラルレンダリング技術が使用されている。
ゲームグラフィックスの今後
現在、ニューラルシェーディングはNVIDIA RTX GPUのTensorコアを必要としており、4月のDirectXプレビューはNVIDIA製品のみをサポートする予定だ。しかし、Microsoftは将来的にAMD、Intel、NVIDIA、Qualcommと協力して、Cooperative Vectorsのクロスベンダーサポートを確保する計画をしている。
IntelのXMXハードウェア（AI演算用の行列エンジン）や、AMDの次世代RDNA 4 AIアクセラレータもこの技術に対応する可能性があるが、現行のRDNA 3については競合他社と比較してAI計算スループットが不足しているため、対応は不透明だ。
ニューラルシェーディングの登場は、ゲームグラフィックスの進化において重要なマイルストーンとなる。これまでNVIDIAのTensorコアは主にDLSS（Deep Learning Super Sampling、AIによる画像の高解像度化）、DLSS 3.5（レイトレーシングの最適化）、DLSS 4（AIによるフレーム生成）などの限られた用途でしか使用されてこなかった。
しかし、ニューラルシェーディングにより、AIはグラフィックスパイプラインの奥深くまで進み、従来はAIの助けなしで作成されていた最初のフレームのレンダリングにも貢献できるようになる。これは、コンピュータハードウェアが急速に進化している一方で、グラフィックスレンダリングパイプライン自体の進化が比較的遅かった状況を変える可能性を秘めている。
Sources
