サイエンス
映像の質量と速度から完璧な音を作り出す次世代AIモデルをKAISTとSony AIが開発
映像の「見た目」だけで音を作る時代は終わった。KAISTとSony AIが共同開発した新技術『PAVAS』は、映像から物体の「質量」と「速度」を力学的に推定し、現実の物理法則に忠実なリアルな音響を生成する。映画やゲーム体験を変革する「Physical AI」の最前線に迫る。
Term
Physics-Driven Audio Adapter
別名: Phy-Adapter, Physics-Driven Audio Adapter
Overview
最終更新: 2026年6月8日Physics-Driven Audio Adapter（Phy-Adapter）は、PPEによって算出された質量や速度といった物理数値を、音声生成を担う潜在拡散モデル（Latent Diffusion Model）が利用可能な形式に変換・注入するモジュールである。運動エネルギーの変化量をフーリエ特徴量として抽出し、拡散モデル内部のトランスフォーマーブロックに干渉させることで、力学的に正しい音の強さやアタック感を生成プロセスに反映させる。
Mentioned Articles
1 件External Mentions
6 件- arXiv MuseVLA: An Adaptive Multimodal Sensing Vision-Language-Action Model for Robotic Manipulation
- arXiv ID-LoRA: Identity-Driven Audio-Video Personalization with In-Context LoRA
- arXiv Do You Have Freestyle? Expressive Humanoid Locomotion via Audio Control
- arXiv PAVAS: Physics-Aware Video-to-Audio Synthesis
- arXiv Enhancing XR Auditory Realism via Multimodal Scene-Aware Acoustic Rendering
- arXiv RÉCITKIT: A Spatial Toolkit for Designing and Evaluating Human-Centered Immersive Data Narratives