原型校准模糊样本以实现微动作识别

微动作识别（MAR）因其在社会互动中作为非言语交流的重要形式而受到越来越多的关注，其在人类交流和情感分析领域的应用前景广阔。然而，当前的方法往往忽视了微动作固有的模糊性，这种模糊性源于广泛的类别范围以及类别之间的细微视觉差异。这一疏忽限制了微动作识别的准确性。本文提出了一种新颖的原型校准模糊网络（PCAN），旨在揭示并缓解MAR中的模糊性。首先，我们采用分层动作树来识别模糊样本，将其分为假阴性和假阳性两类不同的模糊样本集合，同时考虑身体层面和动作层面的类别。其次，我们实现了一个模糊对比精炼模块，通过调节模糊样本与其对应原型之间的距离来校准这些模糊样本。该校准过程旨在将假阴性（FN）样本拉近其各自的原型，并将假阳性（FP）样本推离其所属的原型。此外，我们提出了一种新的原型多样性增强损失函数，以放大不同原型之间的差异，从而增强模型的能力。最后，我们提出了基于原型的修正方法，通过结合原型的代表性来修正预测结果。我们在基准数据集上进行了大量实验，结果表明我们的方法相比现有方法具有显著的优势。代码已发布在 https://github.com/kunli-cs/PCAN。