用于时序动作检测的提议关系网络

本技术报告介绍了我们在ActivityNet Challenge 2021中针对时序动作检测任务所提出的解决方案。该任务旨在从长而未剪辑的视频中定位并识别感兴趣的动作。该任务的核心挑战在于动作的时序持续时间差异极大，且目标动作通常嵌入于大量无关的背景活动之中。我们的解决方案基于BMN框架，主要包含三个步骤：1）利用SlowFast、CSN和ViViT模型进行动作分类与特征编码；2）候选片段生成。我们通过引入提出的候选关系网络（Proposal Relation Network, PRN）对BMN进行改进，从而生成高质量的候选片段；3）动作检测。通过将候选片段与对应的分类结果进行匹配，计算最终的检测结果。最后，我们在不同设置下对结果进行集成，在测试集上取得了44.7%的平均mAP（mean Average Precision），相较于ActivityNet 2020冠军结果提升了1.9个百分点。