多尺度动态和层次关系建模用于面部动作单元识别

人类面部动作单元（AUs）以层次化的方式相互关联，不仅在空间和时间域内彼此相关，而且位于相同或相近面部区域的动作单元之间的关系比不同面部区域的动作单元之间的关系更为紧密。尽管现有的方法尚未完全建模这种AUs之间的层次化依赖关系，本文提出了一种全面建模多尺度AU相关动态及层次化时空关系的方法，用于AU出现的识别。具体而言，我们首先提出了一种新颖的多尺度时差网络，并引入了自适应加权模块，以显式捕捉不同空间尺度下帧间面部动态变化，特别考虑了不同AUs激活范围和幅度的异质性。随后，引入了两阶段策略，基于AUs的空间分布（即局部和跨区域AU关系建模），分层次地建模AUs之间的关系。实验结果表明，在BP4D和DISFA数据集上，我们的方法在AU出现识别领域达到了新的最先进水平。我们的代码已公开发布在 https://github.com/CVI-SZU/MDHR。