Segmentation d'actions avec adaptation de domaine temporelle auto-supervisée conjointe

Malgré les progrès récents des méthodes de segmentation d’actions entièrement supervisées, les performances restent encore insatisfaisantes. Un défi majeur provient des variations spatio-temporelles (par exemple, différentes personnes peuvent réaliser la même action de manière variée). Afin de relever ce problème, nous exploitons des vidéos non étiquetées en reformulant la tâche de segmentation d’actions comme un problème de adaptation de domaine, où les différences entre domaines sont causées par ces variations spatio-temporelles. Pour réduire cette différence, nous proposons une méthode d’adaptation de domaine temporelle auto-supervisée, appelée SSTDA (Self-Supervised Temporal Domain Adaptation), qui intègre deux tâches auxiliaires auto-supervisées (prévision binaire et séquentielle du domaine) afin d’aligner conjointement les espaces de caractéristiques entre domaines, intégrant à la fois des dynamiques temporelles locales et globales. Cette approche atteint des performances supérieures à celles des méthodes d’adaptation de domaine (DA) existantes. Sur trois jeux de données de référence exigeants (GTEA, 50Salads et Breakfast), SSTDA dépasse largement la méthode d’état de l’art actuelle (par exemple, pour le score F1@25 : passage de 59,6 % à 69,1 % sur Breakfast, de 73,4 % à 81,5 % sur 50Salads, et de 83,6 % à 89,1 % sur GTEA), tout en nécessitant seulement 65 % des données d’entraînement étiquetées pour atteindre des performances comparables, ce qui démontre l’efficacité de l’adaptation aux vidéos cibles non étiquetées face aux variations. Le code source est disponible à l’adresse suivante : https://github.com/cmhungsteve/SSTDA.