弱监督时序动作定位中的动作单元记忆网络

弱监督时序动作定位旨在仅使用视频级别标签对未剪辑视频中的动作进行检测与定位。然而，在缺乏帧级别标注的情况下，实现定位的完整性并缓解背景干扰仍面临巨大挑战。本文提出一种动作单元记忆网络（Action Unit Memory Network, AUMN），通过学习动作单元记忆库，有效缓解上述两个难题。在所提出的AUMN中，设计了两个注意力模块，用于自适应地更新记忆库并学习具有特定性的动作单元分类器。此外，还引入三种有效机制——多样性、同质性和稀疏性，以指导记忆网络的更新过程。据我们所知，这是首个显式地利用记忆网络建模动作单元的开创性工作。在两个标准基准数据集（THUMOS14 和 ActivityNet）上的大量实验结果表明，所提出的AUMN在性能上显著优于现有最先进方法。具体而言，在THUMOS14数据集上，IoU阈值从0.1到0.5的平均mAP从47.0%显著提升至52.1%。