无监督动作分割通过联合表示学习和在线聚类实现

我们提出了一种用于无监督活动分割的新方法，该方法将视频帧聚类作为预训练任务，并同时进行表示学习和在线聚类。这与以往的研究不同，以往的方法中表示学习和聚类通常是顺序进行的。我们通过使用时间最优传输（temporal optimal transport）来利用视频中的时间信息。具体而言，我们在标准最优传输模块中引入了一个时间正则化项，以保持活动的时间顺序来进行伪标签聚类分配。时间最优传输模块使我们的方法能够为无监督活动分割学习有效的表示。此外，以前的方法需要在离线方式下存储整个数据集的学习特征后再进行聚类，而我们的方法则是以在线方式一次处理一个迷你批次。在三个公开数据集（50-Salads、YouTube Instructions 和 Breakfast）以及我们自己的数据集（即桌面组装数据集）上的广泛评估表明，尽管我们的方法具有显著较少的内存限制，但其性能与之前的方法相当或更好。我们的代码和数据集可在研究网站上获取：https://retrocausal.ai/research/