HyperAI
Command Palette
Search for a command to run...
UAVM:朝向统一音频和视觉模型
UAVM:朝向统一音频和视觉模型
Yuan Gong, Member, IEEE, Alexander H. Liu, Andrew Rouditchenko, and James Glass, Fellow, IEEE
摘要
传统的视听模型通常具有独立的音频和视频分支。在本研究中,我们通过设计统一的视听模型(Unified Audio-Visual Model, UAVM)将音频和视频分支进行了整合。UAVM 在 VGGSound 数据集上实现了 65.8% 的最新视听事件分类准确率。更有趣的是,我们还发现 UAVM 具有一些模态无关模型所不具备的独特特性。