2 个月前

情感语音爆发识别的层次回归链框架

Jinchao Li; Xixin Wu; Kaitao Song; Dongsheng Li; Xunying Liu; Helen Meng
情感语音爆发识别的层次回归链框架
摘要

作为一种通过非语言声音传递情感的常见方式,语音爆发(Vocal Burst, VB)在日常社会互动中发挥着重要作用。理解和建模人类的语音爆发对于开发稳健且通用的人工智能系统至关重要。探索用于理解语音爆发的计算方法正逐渐吸引越来越多的研究关注。在本研究中,我们提出了一种基于链回归模型的分层框架,用于从语音爆发中进行情感识别,该框架明确考虑了多个关系:(i) 情感状态与不同文化之间的关系;(ii) 低维(唤醒度和效价)与高维(10类情感)情感空间之间的关系;以及 (iii) 高维情感空间内各种情感类别之间的关系。为了应对数据稀疏性的挑战,我们还采用了带有逐层和时间聚合模块的自监督学习(Self-Supervised Learning, SSL)表示。所提出的系统参加了2022年ACII情感语音爆发(A-VB)挑战赛,并在“TWO”和“CULTURE”任务中均获得第一名。基于2022年ACII挑战赛数据集的实验结果表明,所提出的系统具有优越的性能,并且使用分层回归链模型考虑多个关系的有效性得到了验证。

情感语音爆发识别的层次回归链框架 | 最新论文 | HyperAI超神经