PAVAS

PAVAS（Physics-Aware Video-to-Audio Synthesis）は、KAIST、POSTECH、Sony AIの研究チームによって開発された次世代のVideo-to-Audio（V2A）技術です。従来の生成AIが映像の外見と音の相関関係のみを学習していたのに対し、PAVASは映像から物体の「質量」と「速度」という力学パラメータを直接推定し、運動エネルギーの法則に則った音響を合成します。具体的には、視覚言語モデルや3D再構築モデルを組み合わせたPhysics Parameter Estimator（PPE）で物理量を算出し、Phy-Adapterを通じて拡散モデルの生成プロセスを制御します。これにより、物体の重さや衝突速度に完全に同期した、現実感のある音響制作が可能になります。