サイエンス
映像の質量と速度から完璧な音を作り出す次世代AIモデルをKAISTとSony AIが開発
映像の「見た目」だけで音を作る時代は終わった。KAISTとSony AIが共同開発した新技術『PAVAS』は、映像から物体の「質量」と「速度」を力学的に推定し、現実の物理法則に忠実なリアルな音響を生成する。映画やゲーム体験を変革する「Physical AI」の最前線に迫る。
別名: Audio-Physics Correlation Coefficient, 音響-物理相関係数, APCC
APCC(Audio-Physics Correlation Coefficient)は、PAVASの研究チームが提案した新しい客観評価指標です。生成された音声のスペクトログラムから衝突時のエネルギーを測定し、それが映像内の物体の質量と速度から算出される運動エネルギーの変化量とどれだけ連動しているかを数値化します。これにより、AIが単に「それらしい音」を出しているか、物理法則に従って音を出しているかを厳密に評価できます。