Segmentation non supervisée des actions par apprentissage conjoint de représentations et regroupement en ligne

Nous présentons une nouvelle approche pour le segmentage d'activités non supervisé qui utilise le regroupement de trames vidéo comme tâche prétexte et effectue simultanément l'apprentissage de représentations et le regroupement en ligne. Cela contraste avec les travaux antérieurs où l'apprentissage de représentations et le regroupement sont généralement réalisés de manière séquentielle. Nous exploitons les informations temporelles dans les vidéos en utilisant le transport optimal temporel. Plus précisément, nous intégrons un terme de régularisation temporelle qui préserve l'ordre temporel de l'activité dans le module de transport optimal standard pour calculer les affectations de clusters pseudo-étiquetées. Le module de transport optimal temporel permet à notre approche d'apprendre des représentations efficaces pour le segmentage d'activités non supervisé. De plus, les méthodes précédentes nécessitent de stocker les caractéristiques apprises pour l'ensemble du jeu de données avant de les regrouper hors ligne, tandis que notre approche traite un mini-lot à la fois en ligne. Des évaluations approfondies sur trois jeux de données publics, à savoir 50-Salads, YouTube Instructions et Breakfast, ainsi que sur notre propre jeu de données Desktop Assembly, montrent que notre approche performe au même niveau ou mieux que les méthodes précédentes, malgré des contraintes mémoire considérablement moindres. Notre code source et notre jeu de données sont disponibles sur notre site web de recherche : https://retrocausal.ai/research/