多尺度促进的自适应相关学习在面部动作单元检测中的应用

面部动作单元（AU）检测是情感计算和社会机器人学中的一个重要任务，因为它有助于识别通过面部表情表达的情绪。从解剖学角度来看，AUs之间存在无数的相关性，这些相关性包含丰富的信息，对于AU检测至关重要。以往的方法基于专家经验和特定基准上的统计规则来使用固定的AU相关性，但通过手工设置难以全面反映AUs之间的复杂相关性。也有替代方法采用完全连接图来彻底学习这些依赖关系，然而这些方法可能导致计算量激增，并且对大规模数据集有较高的依赖性。为了解决这些问题，本文提出了一种新颖的自适应AU相关性学习（SACL）方法，该方法在AU检测中具有较低的计算成本。此方法通过高效利用网络不同阶段提取的不同层次的AU运动和情绪表示信息，自适应地学习和更新AU相关图。此外，本文探讨了多尺度学习在相关性信息提取中的作用，并设计了一种简单而有效的多尺度特征学习（MSFL）方法，以提高AU检测的性能。通过将AU相关性信息与多尺度特征相结合，所提出的方法为最终的AU检测获得了更加稳健的特征表示。大量实验表明，所提出的方法在广泛使用的AU检测基准数据集上优于现有最先进方法，其参数量和浮点运算次数分别仅为最佳方法的28.7%和12.0%。该方法的代码可在以下网址获取：https://github.com/linuxsino/Self-adjusting-AU。