サイエンス
映像の質量と速度から完璧な音を作り出す次世代AIモデルをKAISTとSony AIが開発
映像の「見た目」だけで音を作る時代は終わった。KAISTとSony AIが共同開発した新技術『PAVAS』は、映像から物体の「質量」と「速度」を力学的に推定し、現実の物理法則に忠実なリアルな音響を生成する。映画やゲーム体験を変革する「Physical AI」の最前線に迫る。
Term
Physics Parameter Estimator
別名: PPE, Physics Parameter Estimator
Overview
最終更新: 2026年6月30日Physics Parameter Estimator（PPE）は、PAVAS（Physics-Aware Video-to-Audio Synthesis）の核心をなすコンポーネントである。二次元の映像情報から、直接的には観測できない「質量」や「速度」といった三次元的な物理量を抽出する役割を担う。視覚言語モデル（VLM）を用いて物体の材質や体積から質量を推定し、セグメンテーションモデルと3D再構築モデルを組み合わせて、カメラの動きに左右されない絶対的な移動速度を算出する。
Mentioned Articles
1 件External Mentions
10 件- arXiv How Sparse and How Noisy? Systematic Benchmarking of Inverse Physics-Informed Neural Networks for Manning Friction Estimation in Shallow Water Equations
- arXiv Galaxy groups within voids
- arXiv Geometry-Aware Post-Hoc Uncertainty Quantification in Operator Learning
- arXiv Uncertainty Quantification of Engineering Structures by Polynomial Chaos Expansion and Multivariate Active Learning
- arXiv Data-Driven Personalization of Automated Insulin Delivery
- arXiv Limits of constant-parameter constitutive models for hydrogels under inertial cavitation
- arXiv Physics-Guided Spatiotemporal Learning for Coastal Wave Peak Period Estimation from Video
- arXiv 3DSTokesFlow: simulation-based inference for 3D Stokes profiles using flow matching
- arXiv Physics-Informed Neural Networks for Chemotherapy Pharmacokinetics: Benchmarking the Clinical Estimator and Exposing Parameter Identifiability
- arXiv Contactless 3D Human Body Measurement Using Depth Cameras for Smart Health Monitoring