UAVM：朝向统一音频和视觉模型

传统的视听模型通常具有独立的音频和视频分支。在本研究中，我们通过设计统一的视听模型（Unified Audio-Visual Model, UAVM）将音频和视频分支进行了整合。UAVM 在 VGGSound 数据集上实现了 65.8% 的最新视听事件分类准确率。更有趣的是，我们还发现 UAVM 具有一些模态无关模型所不具备的独特特性。