基于时空卷积神经网络的大规模、快速且准确的镜头边界检测

镜头边界检测（SBD）是视频处理中的一个重要预处理步骤。在此过程中，每一帧段被分类为突变、渐变或无变化。当前的SBD技术通过分析手工设计的特征，试图同时优化检测精度和处理速度。然而，光流计算的高复杂度阻碍了这一目标的实现。为了达到这一目的，我们提出了一种基于时空卷积神经网络（CNN）的SBD技术。由于现有的数据集规模不足以训练一个准确的SBD CNN模型，我们构建了一个新的数据集，包含超过350万帧的突变和渐变镜头。这些过渡是通过图像合成模型合成生成的。我们的数据集中还额外包含了7万帧重要的硬负例无变化镜头。我们对一种SBD算法进行了迄今为止最大规模的评估，该评估在真实和合成数据上进行，共涉及超过485万帧。与现有最先进技术相比，我们在渐变溶解检测方面表现更优，在突变检测方面具有竞争力，并在渐变擦除检测方面取得了显著改进。此外，我们的方法比现有最先进技术快至11倍。