CTAP : Génération de Proposals d'Actions Temporelles Complémentaires
La génération de propositions d'actions temporelles est une tâche importante, similaire aux propositions d'objets. Les propositions d'actions temporelles ont pour but de capturer des « clips » ou des intervalles temporels dans les vidéos qui sont susceptibles de contenir une action. Les méthodes précédentes peuvent être divisées en deux groupes : le classement par fenêtres glissantes et le regroupement par score d'action. Les fenêtres glissantes couvrent uniformément tous les segments des vidéos, mais leurs limites temporelles sont imprécises ; les méthodes basées sur le regroupement peuvent avoir des limites plus précises, mais elles peuvent omettre certaines propositions lorsque la qualité du score d'action est faible. En nous appuyant sur les caractéristiques complémentaires de ces deux méthodes, nous proposons un nouveau générateur de Propositions Temporelles Complémentaires d'Actions (CTAP). Plus précisément, nous appliquons un Estimateur de Fiabilité au Niveau des Propositions (PATE) aux propositions par fenêtres glissantes afin de générer des probabilités indiquant si les actions peuvent être correctement détectées par les scores d'action. Les fenêtres avec des scores élevés sont collectées. Les fenêtres glissantes collectées et les propositions basées sur le score d'action sont ensuite traitées par un réseau neuronal convolutif temporel pour le classement des propositions et l'ajustement des limites. CTAP surpassent largement les méthodes de pointe en termes de rappel moyen (AR) sur les jeux de données THUMOS-14 et ActivityNet 1.3. Nous appliquons également CTAP comme méthode de génération de propositions dans un détecteur d'actions existant, et montrons des améliorations significatives et cohérentes.Note : - "Temporal action proposal" a été traduit par "propositions d'actions temporelles".- "Object proposals" a été traduit par "propositions d'objets".- "Sliding window ranking" a été traduit par "classement par fenêtres glissantes".- "Actionness score grouping" a été traduit par "regroupement par score d'action".- "Complementary Temporal Action Proposal (CTAP)" a été traduit par "Propositions Temporelles Complémentaires d'Actions (CTAP)".- "Proposal-level Actionness Trustworthiness Estimator (PATE)" a été traduit par "Estimateur de Fiabilité au Niveau des Propositions (PATE)".