在视频中识别时间精确的细粒度事件

我们介绍了在视频中检测时间上精确、细粒度事件的任务（即检测事件发生的确切时刻）。精确检测要求模型在全球范围内对动作的整个时间尺度进行推理，并在局部识别出帧间细微的外观和运动差异，以确定这些动作中的事件。令人惊讶的是，我们发现此前在视频理解任务中表现最佳的解决方案，如动作检测和分割，并不能同时满足这两个要求。为此，我们提出了E2E-Spot，这是一种紧凑的端到端模型，在精确检测任务上表现出色，并且可以在单个GPU上快速训练。我们证明了E2E-Spot显著优于从视频动作检测、分割和检测文献中改编而来的近期基线方法。最后，我们为几个细粒度体育动作数据集贡献了新的注释和划分，使这些数据集适用于未来在精确检测方面的研究工作。