ReAct：基于关系查询的时序动作检测

本工作旨在通过基于编码器-解码器框架并引入动作查询（action queries）的方法，推动时序动作检测（Temporal Action Detection, TAD）的发展，该框架与在目标检测任务中取得显著成功的DETR模型类似。然而，若直接将该框架应用于TAD，仍面临若干挑战：解码器中查询间关系的探索不足、由于训练样本数量有限导致的动作分类训练不充分，以及推理阶段分类置信度不可靠等问题。为此，我们首先在解码器中提出一种关系注意力机制，通过建模查询之间的相互关系来引导注意力分配。此外，我们设计了两种新的损失函数，以促进并稳定动作分类的训练过程。最后，我们在推理阶段引入对每个动作查询定位质量的预测，以区分高质量与低质量的查询。所提出的方法名为ReAct，在THUMOS14数据集上达到了当前最优性能，且相较于以往方法具有显著更低的计算开销。此外，我们进行了大量消融实验，验证了所提各组件的有效性。代码已开源，地址为：https://github.com/sssste/React。