摘要
在本研究中，我们提出了一种完全端到端的方法，用于视频中的动作检测，该方法能够直接预测动作的时间边界。我们的直觉是，动作检测的过程本质上是一个观察和细化的过程：观察视频中的时刻，并不断修正关于动作发生时间的假设。基于这一见解，我们将模型设计为一个基于循环神经网络的智能体，该智能体能够在时间上与视频进行交互。智能体观察视频帧，并决定下一步观察的位置以及何时输出预测。由于反向传播在这种非可微环境中并不适用，我们使用REINFORCE算法来学习智能体的决策策略。我们的模型在THUMOS'14和ActivityNet数据集上取得了最先进的结果，同时仅观察了视频帧的一小部分（2%或更少）。