銀幕の中で巨大なティラノサウルスが足を踏み出すとき、私たちは無意識のうちに大地を震わせる重低音を期待する。その音は、恐竜の視覚的な「形」から生み出されるのではない。数トンの巨大な「質量」が、重力に従って地面に衝突する「速度」によって生み出される力学的な結果である。人間の脳は、視覚情報を処理する段階で瞬時に対象の物理的な性質を計算し、次に響くであろう音のトーンや衝撃力を予測する高度なシミュレーターを備えている。
近年、テキストから高精細な映像を生み出す人工知能（AI）は爆発的な進化を遂げた。それに伴い、生成された映像に後から自動で効果音を付与するVideo-to-Audio（V2A）技術も急速な発展を見せている。しかし、AIが奏でる音は、どこか空虚さを孕んでいた。画面に映る物体が「ハンマー」であることは認識できても、それが「どれほどの重さ」で「どれほどの速さ」で振り下ろされたのかを理解していなかったからである。
この視覚と聴覚、さらに物理法則の間に横たわる深い谷を埋めるべく、韓国科学技術院（KAIST）のSchool of Computingに所属するTae-Hyun Oh教授率いる研究チームは、POSTECHおよびSony AIの共同研究者らとともに、画期的なブレイクスルーを達成した。彼らが開発した「PAVAS（Physics-Aware Video-to-Audio Synthesis）」は、映像から直接「質量」と「速度」という隠れた力学パラメータを推定し、現実世界の因果律に忠実な音響を合成する。本稿では、コンピュータビジョンのトップカンファレンスであるCVPR 2026で発表されるこの新技術が、いかにしてAIに「物理学」を教え込んだのか、その深層を紐解いていく。
視覚と聴覚の表面的な相関。既存の生成AIが直面した「ハリボテの限界」
今日のマルチモーダル生成AI、例えばGoogleの「Veo 3」やByteDanceの「Seedance 2.0」などは、映像と音声を同時に生成する優れた能力を持っている。既存のV2Aモデル（MMAudioなど）は、映像のフレームと音響データを大規模に学習し、両者の意味的な一致と時間的な同期を高いレベルで実現してきた。
しかし、これらのモデルは根本的な欠陥を抱えていた。それは、音の生成プロセスが完全に「外観駆動（Appearance-driven）」であったという点である。
既存のモデルは、「ハンマーが動いている映像」と「金属を打つ音」という表面的な相関関係を記憶しているに過ぎない。その結果、ハンマーが軽く触れただけの映像であっても、フルスイングしたときと同じような耳をつんざく爆音を生成してしまったり、トランポリンで弾む物体の音が映像の動きを無視して異常に長く響き続けたりする。これは、AIが「なぜその音が鳴るのか」という物理的な因果関係を欠落させているために発生する矛盾である。
人間が現実世界で体験する音響は、物質の相互作用によって生じる運動エネルギーの放射である。物体が衝突する際のエネルギーは、その物体の質量と速度の二乗に比例する。この力学的な大前提を無視したままデータをどれほどスケールアップしても、生成される音は現実世界の物理法則から乖離した「ハリボテ」にとどまり続ける。研究チームは、この長年の課題を打破するために、AIのアーキテクチャそのものに物理学的な推論を組み込むという野心的なアプローチを採用した。
映像から見えない力学を抽出する。Physics Parameter Estimatorが解き明かす軌跡
AIに物理法則を教えるための第一歩は、二次元のピクセル情報の集まりである映像から、現実世界の三次元的な物理量（質量と速度）を抽出することである。PAVASの心臓部を担う「Physics Parameter Estimator（PPE）」は、複数の最先端の視覚モジュールを巧みに連携させることでこの難題を解決した。
まず、高度な推論能力を持つ視覚言語モデル（VLM）が映像全体を俯瞰し、動いている物体を自律的に発見する。次に、発見された物体の材質、空間的な体積、そしてシルエットなどの視覚的な文脈を総合的に解析し、その物体の質量（kg）を推定する。例えば、映像に映るのが「空気を入れられた標準的なバスケットボール」であれば約0.62kg、「木製のフルサイズアコースティックギター」であれば約2.2kgといった具合に、VLMが持つ広範な世界知識を引き出して具体的な数値を導き出す。
さらに困難なのが速度の推定である。二次元の映像から実際の移動速度（m/s）を算出するには、カメラの動きや遠近法による錯覚を排除しなければならない。研究チームは、Florence-2とSAM2という強力な画像セグメンテーションモデルを組み合わせて動く物体の境界線を正確に切り出し、それをCUT3Rと呼ばれる動的3D再構築モデルに流し込んだ。これにより、映像内の物体を絶対的なスケールを持った三次元空間にマッピングし、フレーム間の重心の移動距離から正確な速度ベクトルを算出することに成功したのである。
運動エネルギーを音の波へ変換する。拡散モデルを操るアダプターの妙
質量と速度のデータを入手しただけでは、音は鳴らない。次なる課題は、これらの方程式上の数値を、いかにして音響生成を担う潜在拡散モデル（Latent Diffusion Model）の生成プロセスに干渉させるかである。
ここで研究チームは、「Physics-Driven Audio Adapter（Phy-Adapter）」という特製の変調モジュールを開発した。物体の衝突や激しいバウンドなどに伴う音の発生は、衝突前の運動エネルギーと衝突後の運動エネルギーの「差」が、音響インパルスとして空間に放射される現象である。数式で表せば、となる。これはつまり、「物体が衝突によって失ったエネルギーが、そのまま音の力となって大気を揺るがす」という自然界の厳格なルールである。
Phy-Adapterは、PPEが算出した質量と速度の数値をフーリエ特徴量（高周波の波のパターン）に変換し、拡散モデルの内部にあるトランスフォーマーブロックに注入する。具体的には、質量は「音の全体的な大きさや余韻の長さ」を決定づける静的なパラメータの役割を担い、速度は「衝突瞬間の鋭さやアタック感」を制御する動的なパラメータとなって各フレームの処理に干渉する。
映像の動きに合わせて変化するこれらの物理信号が、拡散モデルがノイズから音の波形を削り出していく過程を「力学的に正しい方向」へと導くのである。
物理的整合性をどう測るか。新指標「APCC」が示す圧倒的な優位性
PAVASが真に「物理学を理解している」ことを証明するために、研究チームは既存の評価手法を根本から見直す必要があった。従来の音声生成の評価は、ノイズの少なさや映像とのタイミングの一致といった、あくまで人間の主観的な知覚に依存するものばかりだったからである。
そこで彼らは、物体同士の相互作用に焦点を当てた新しいベンチマークデータセット「VGG-Impact」を構築し、「APCC（Audio-Physics Correlation Coefficient：音響-物理相関係数）」という独自の客観評価指標を導入した。
APCCは、生成された音のスペクトログラムから衝突瞬間のエネルギー（音の強さ）を測定し、それが映像から推定された運動エネルギーの変化量とどれだけ連動しているかを定量化する。現実世界の録音データであれば、大きなエネルギーが失われたときには大きな音が鳴るという強い相関を示す。この指標において、現実の音声データとの乖離（APCC-Δ）を測定した結果が以下の表である。
| 評価モデル | アプローチの性質 | APCC-Δ（物理相関のズレ）↓ | Fréchet Distance（音質分布の差）↓ | Inception Score（音質）↑ |
|---|---|---|---|---|
| VATT | 外観・意味駆動 | 0.673 | 131.9 | 11.90 |
| See & Hear | 外観・意味駆動 | 0.566 | 219.0 | 8.58 |
| MMAudio-L | 外観・意味・時間駆動 | 0.536 | 60.6 | 17.40 |
| PAVAS-L (Ours) | 物理（質量・速度）駆動 | 0.378 | 47.38 | 17.51 |
※APCC-ΔおよびFréchet Distanceは低いほど優れ、Inception Scoreは高いほど優れる。
既存の最高峰モデルであるMMAudio-Lが0.536というスコアにとどまる中、PAVAS-Lは0.378という圧倒的な数値を叩き出した。これは、PAVASが生成する音のボリュームや鋭さが、偶然の産物や映像の雰囲気によるものではなく、物体の運動エネルギーの増減と明確に連動していることを証明する確固たるデータである。
Sony陣営が仕掛けるゲームチェンジ。Physical AIが描く次世代のエンタメ体験
既存の巨大テック企業との比較において、PAVASがもたらすビジネス上の構造的優位性は極めて明確だ。Googleの「Veo 3」やByteDanceの「Seedance 2.0」などの生成AIが、膨大なデータ量に力押しして「見栄えの良いフェイク」を作り出すことに注力しているのに対し、今回のKAISTとSony AIの共同研究は「現実の物理シミュレーションに基づく再構築」という全く異なるアプローチを取っている。
このパラダイムシフトは、Sonyグループが持つ映画事業（Sony Pictures）やゲーム事業（PlayStationプラットフォーム）と強烈なシナジーを生み出す。例えば映画のポストプロダクションにおいて、フォーリーアーティスト（効果音作成の専門家）がキャラクターの振るう剣の重さや、車の衝突スピードに合わせて手作業で音量やエフェクトを微調整していたプロセスが、AIによる物理演算に基づく自動生成へと置き換わる。制作フローの抜本的な効率化が実現する。
さらに、ゲーム開発現場におけるリアルタイムエンジンの音響物理への応用も視野に入る。仮想現実（VR）やメタバース空間においては、プレイヤーのアクションの速度や、ゲーム内に点在するオブジェクトの質量に呼応して瞬時に変化する「説得力のある音」を提供することで、これまでにない次元の没入感を生み出すことが可能となる。この「物理法則を理解する」というアドバンテージは、単純なデータスケールでは容易に追いつけない強力な技術的モート（堀）となる。
Tae-Hyun Oh教授が指摘するように、本研究は「Physical AI（物理法則と因果関係を理解する生成AI）」という新たな学術・産業領域の扉を開いた。テキストや映像、さらには複雑な音声を含めた多様なモダリティを束ねる次世代のAIは、データの統計的なマッピングから脱却し、私たちが生きるこの世界の「理（ことわり）」を内包する高度なシステムへと進化しつつある。
完全に再現された世界への残された課題
現在のPAVASは質量と速度を正確に捉えているものの、「材質（Material）」のモデリングは依然として視覚的な特徴量（Appearance）に間接的に依存している。金属と木材、ガラスとプラスチックでは、同じ質量と同じ速度で衝突しても、音の減衰率や周波数特性が全く異なる。今後は、材質の弾性係数や摩擦係数といったより深い物理パラメータを明示的に抽出し、統合するメカニズムの開発が求められる。
また、複数の視覚推論モジュールを直列で繋ぐ現在のアーキテクチャは計算コストが高く、リアルタイム処理には向いていない。物理推定器と音響生成モデルを単一のネットワーク内で共同最適化（Joint Optimization）し、軽量かつ高速な推論を実現することが、社会実装に向けた次の大きなハードルとなる。
映像の背後に隠された「力学」という見えない糸を読み解き、それを「音」という波紋に変換するPAVAS。AIが真の意味で現実世界をシミュレートする未来は、私たちの耳元まで確実に来ている。
