流动中有什么？利用时间运动线索进行无监督通用事件边界检测

通用事件边界检测（GEBD）任务旨在识别将视频分割为有意义事件的通用、无分类学限制的边界。当前的方法通常涉及在大量数据上训练的神经模型，这需要大量的计算能力和存储空间。我们探讨了与GEBD相关的两个关键问题：非参数算法能否超越无监督神经方法？仅依靠运动信息是否足以实现高性能？这一探究促使我们在算法中利用运动线索来识别视频中的通用事件边界。在本研究中，我们提出了FlowGEBD，一种用于GEBD的非参数、无监督技术。我们的方法包括两种利用光流的算法：(i) 像素跟踪（Pixel Tracking）和 (ii) 光流归一化（Flow Normalization）。通过在具有挑战性的Kinetics-GEBD和TAPOS数据集上进行详尽的实验，我们的结果表明FlowGEBD在无监督方法中达到了新的最先进水平（SOTA）。FlowGEBD在Kinetics-GEBD数据集上的[email protected]得分为0.713，相比无监督基线方法绝对提升了31.7%，并在TAPOS验证数据集上实现了平均F1得分为0.623。