Lorsque un squelette puissant rencontre des caractéristiques puissantes — ActionFormer pour le défi de requêtes de moment Ego4D

Ce rapport décrit notre soumission au défi Ego4D Moment Queries Challenge 2022. Notre approche s'appuie sur ActionFormer, le modèle de référence actuel pour la localisation temporelle d'actions, ainsi que sur trois caractéristiques vidéo puissantes issues de SlowFast, Omnivore et EgoVLP. Notre solution obtient la deuxième place sur le classement public, avec un mAP moyen de 21,76 % sur l'ensemble de test, soit près de trois fois plus que la borne officielle. En outre, nous atteignons un taux de rappel de 42,54 % à Recall@1x pour un seuil tIoU de 0,5 sur l'ensemble de test, dépassant ainsi significativement la solution classée en tête de manière absolue de 1,41 point de pourcentage. Le code source est disponible à l'adresse suivante : https://github.com/happyharrycn/actionformer_release.