基于期望最大化多实例学习的弱监督动作定位

弱监督动作定位任务要求模型仅根据视频级别的动作标签，定位视频中的动作片段。该问题可在多实例学习（Multiple Instance Learning, MIL）框架下求解，其中每个视频（bag）包含多个动作片段（instances）。由于仅知晓视频整体的标签，主要挑战在于确定哪些关键实例能够触发该视频标签。以往多数模型采用基于注意力的方法，通过注意力机制从实例中生成视频的表示，并基于视频分类任务进行训练。然而，这类方法在隐式上违背了MIL的基本假设——即负样本视频中的所有实例应均为负例。针对这一问题，本文显式地将关键实例的分配建模为一个隐变量，并引入期望最大化（Expectation-Maximization, EM）框架。我们提出了两种伪标签生成策略，分别用于建模EM算法中的E步与M步，并迭代优化似然下界。实验结果表明，所提出的EM-MIL方法更准确地建模了学习目标与MIL的假设条件，在两个标准基准数据集THUMOS14和ActivityNet1.2上均取得了当前最优的性能表现。