Segmentation Temporelle d'Actions Efficace par Vote de Requêtes Aware des Frontières

Bien que les performances de la segmentation d’actions temporelles (TAS) aient progressé ces dernières années, l’obtention de résultats prometteurs s’accompagne souvent d’un coût computationnel élevé, en raison d’entrées denses, de structures de modèles complexes et de besoins intensifs en ressources pour le post-traitement. Afin d’améliorer l’efficacité tout en préservant les performances, nous proposons une nouvelle approche centrée sur la classification par segment. En exploitant les capacités des Transformers, nous convertissons chaque segment vidéo en un jeton d’instance, doté d’une segmentation d’instance intrinsèque. Pour réaliser une segmentation d’actions efficace, nous introduisons BaFormer, un réseau Transformer sensible aux frontières. Ce modèle utilise des requêtes d’instance pour la segmentation d’instance et une requête globale pour la prédiction de frontières indépendante de la classe, produisant ainsi des propositions de segments continus. Lors de l’inférence, BaFormer applique une stratégie de vote simple mais efficace pour classifier les segments selon leurs frontières, basée sur la segmentation d’instance. Notamment, en tant qu’approche à une seule étape, BaFormer réduit de manière significative le coût computationnel, n’utilisant que 6 % du temps d’exécution par rapport à la méthode de pointe DiffAct, tout en atteignant une précision supérieure ou comparable sur plusieurs benchmarks populaires. Le code de ce projet est disponible publiquement à l’adresse suivante : https://github.com/peiyao-w/BaFormer.