HR-Pro : Localisation temporelle d'actions par supervision par points via une propagation hiérarchique de fiabilité
La localisation temporelle d’actions supervisée par points (PSTAL) est une direction de recherche émergente visant à apprendre de manière efficace en termes d’étiquetage. Toutefois, les méthodes actuelles se concentrent principalement sur l’optimisation du réseau soit au niveau des snippets, soit au niveau des instances, tout en négligeant la fiabilité intrinsèque des annotations ponctuelles à ces deux niveaux. Dans cet article, nous proposons un cadre hiérarchique de propagation de fiabilité (HR-Pro), composé de deux étapes conscientes de la fiabilité : l’apprentissage discriminatif au niveau des snippets et l’apprentissage de complétude au niveau des instances. Ces deux étapes explorent de manière efficace la propagation des indices à haute confiance présents dans les annotations ponctuelles. Pour l’apprentissage au niveau des snippets, nous introduisons une mémoire à mise à jour en ligne afin de stocker des prototypes fiables de snippets pour chaque classe. Nous utilisons ensuite un bloc d’attention conscient de la fiabilité pour capturer à la fois les dépendances intra-videos et inter-videos entre les snippets, aboutissant à des représentations de snippets plus discriminantes et plus robustes. Pour l’apprentissage au niveau des instances, nous proposons une méthode de génération de propositions basée sur les points, permettant de relier les snippets aux instances, produisant ainsi des propositions à haute confiance pour une optimisation ultérieure au niveau des instances. Grâce à un apprentissage hiérarchique conscient de la fiabilité, nous obtenons des scores de confiance plus fiables et des bornes temporelles prédites plus précises. Notre méthode HR-Pro atteint des performances de pointe sur plusieurs benchmarks exigeants, notamment un mAP moyen impressionnant de 60,3 % sur THUMOS14. Notamment, HR-Pro dépasse largement toutes les méthodes précédentes supervisées par points et même certaines méthodes entièrement supervisées compétitives. Le code sera disponible à l’adresse suivante : https://github.com/pipixin321/HR-Pro.