层次向量量化在无监督动作分割中的应用

在本研究中，我们探讨了无监督时序动作分割问题，该问题旨在将一组长且未剪辑的视频切分为语义上有意义且在不同视频之间具有一致性的片段。尽管近期的方法将表示学习和聚类结合在一个步骤中来解决这一任务，但它们无法应对同一类别内时序片段的较大变化。为了解决这一局限性，我们提出了一种新的方法——层次向量量化（Hierarchical Vector Quantization, HVQ），该方法由两个连续的向量量化模块组成。这导致了一个层次聚类结构，其中额外的子聚类覆盖了簇内的变化。我们证明，我们的方法比现有技术更好地捕捉了片段长度的分布。为此，我们引入了一种基于 Jensen-Shannon 距离（JSD）的新度量指标，用于评估无监督时序动作分割的效果。我们在三个公开数据集上对我们的方法进行了评估，分别是 Breakfast、YouTube Instructional 和 IKEA ASM 数据集。结果表明，我们的方法在 F1 分数、召回率和 JSD 方面均优于现有技术。