HyperAIHyperAI

Command Palette

Search for a command to run...

MMLatch:自底向上的多模态情感分析融合方法

Georgios Paraskevopoulos Efthymios Georgiou Alexandros Potamianos

摘要

当前的深度学习多模态融合方法主要依赖于自下而上的融合策略,即对高层或中层的潜在模态表征(晚期/中晚期融合)或低层感官输入(早期融合)进行融合。然而,人类感知模型强调了自上而下融合的重要性——高层表征会影响感官输入的感知方式,即认知过程对感知具有调控作用。现有深度学习模型尚未有效捕捉这种自上而下的交互机制。本文提出一种新型神经网络架构,通过在训练过程的前向传播中引入反馈机制,实现了对自上而下跨模态交互的有效建模。该机制为每种模态提取高层表征,并利用这些表征对原始感官输入进行掩码,从而实现自上而下的特征掩码。我们将该方法应用于CMU-MOSEI数据集上的多模态情感识别任务,实验结果表明,该方法在性能上持续优于广泛使用的MulT模型以及我们所构建的强基准晚期融合模型,取得了当前最先进的识别效果。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供