观察身体：心理困扰中的身体姿态和自我调节行为的自动分析

心理困扰是社会中一个显著且日益严重的问题。自动检测、评估和分析此类困扰是一个活跃的研究领域。与面部、头部和声音等模态相比，利用身体模态进行这些任务的研究相对较少。这在一定程度上是由于可用数据集有限以及难以自动提取有用的身体特征所致。近年来，姿态估计和深度学习的进展为这一模态和领域的研究提供了新的方法。为了促进这一研究，我们收集并分析了一个包含短访谈全身视频和自报告心理困扰标签的新数据集。我们提出了一种新颖的方法，用于自动检测自我调节行为（self-adaptors）和不安动作（fidgeting），后者已被证明与心理困扰有关联。我们对统计身体手势和不安动作特征进行了分析，探讨了不同困扰水平如何影响参与者的行 为。随后，我们提出了一种多模态方法，该方法结合了不同的特征表示，使用多模态深度去噪自编码器（Multi-modal Deep Denoising Auto-Encoders）和改进的费舍尔向量编码（Improved Fisher Vector Encoding）。我们展示了所提出的模型通过结合音频-视觉特征与自动检测到的不安行为线索，能够在标记有自报告焦虑和抑郁水平的数据集中成功预测困扰水平。