Temporal konsistente unbalancierte optimale Transportmethoden für die unsupervisierte Aktionsegmentierung

Wir schlagen einen neuen Ansatz für die Aktionssegmentierung in langen, ungeschnittenen Videos vor, der auf der Lösung eines Optimal Transport Problems basiert. Durch die Kodierung einer zeitlichen Konsistenzvorhersage in ein Gromov-Wasserstein Problem können wir eine zeitlich konsistente Segmentierung aus einer verrauschten Affinitäts-/Matching-Kostenmatrix zwischen Videoframes und Aktionen dekodieren. Im Gegensatz zu früheren Ansätzen erfordert unsere Methode nicht das Wissen über die Reihenfolge der Aktionen in einem Video, um zeitliche Konsistenz zu erreichen. Darüber hinaus kann unser resultierendes (gefuses) Gromov-Wasserstein Problem effizient auf GPUs gelöst werden, indem man nur wenige Iterationen des projizierten Spiegelabstiegs durchführt. Wir demonstrieren die Effektivität unserer Methode in einem unüberwachten Lernszenario, bei dem unsere Methode zur Generierung von Pseudo-Labels für das Selbsttraining verwendet wird. Wir evaluieren unseren Segmentierungsansatz und den unüberwachten Lernpipeline anhand der Datensätze Breakfast, 50-Salads, YouTube Instructions und Desktop Assembly, wobei wir state-of-the-art Ergebnisse für die unüberwachte Aktionssegmentierung in Videos erzielen.