Term

PE-AV

別名: Perception Encoder Audiovisual

Overview

最終更新: 2026年7月9日

SAM Audioの基幹技術の一つ。以前発表された視覚向けモデル「Perception Encoder」を拡張したもので、動画フレームの特徴量と音声データを時間軸で同期させる。これにより、映像内の特定の動作(ギターを弾くなど)とそれに対応する音をAIが結びつけて理解することが可能になる。

Mentioned Articles

1 件

External Mentions

6 件