Pré-entraînement à grande échelle faiblement supervisé pour la reconnaissance d'actions vidéo

Les ensembles de données vidéo actuellement supervisés en totalité ne comprennent que quelques centaines de milliers de vidéos et moins de mille étiquettes spécifiques à un domaine. Cette limitation entrave les progrès vers des architectures vidéo plus avancées. Cet article présente une étude approfondie sur l'utilisation de grands volumes de vidéos web pour le pré-entraînement de modèles vidéo destinés à la tâche de reconnaissance d'actions. Notre principale découverte empirique est que le pré-entraînement à très grande échelle (plus de 65 millions de vidéos), malgré l'utilisation de vidéos bruyantes issues des réseaux sociaux et de leurs hashtags, améliore considérablement l'état de l'art sur trois ensembles de données publics difficiles pour la reconnaissance d'actions.De plus, nous examinons trois questions liées à la construction d'ensembles de données vidéo d'actions faiblement supervisés. Premièrement, étant donné que les actions impliquent des interactions avec des objets, comment devrait-on construire un espace d'étiquettes pré-entraîné verbe-objet pour maximiser le transfert d'apprentissage ? Deuxièmement, les modèles basés sur les images se comportent assez bien dans la reconnaissance d'actions ; est-ce que le pré-entraînement pour des caractéristiques d'image robustes suffit ou le pré-entraînement pour des caractéristiques spatio-temporelles est-il également précieux pour un transfert d'apprentissage optimal ? Enfin, les actions sont généralement moins bien localisées dans les vidéos longues par rapport aux vidéos courtes ; puisque les étiquettes d'action sont fournies au niveau du vidéo, comment devrait-on sélectionner les extraits vidéo pour obtenir les meilleures performances, étant donné un budget fixe en termes de nombre ou de minutes de vidéos ?