Classification vidéo à grande échelle avec des réseaux de neurones convolutifs

Les réseaux de neurones convolutifs (CNN) se sont imposés comme une classe puissante de modèles pour les problèmes de reconnaissance d’images. Encouragés par ces résultats, nous menons une évaluation empirique approfondie des CNN sur la classification vidéo à grande échelle, en utilisant un nouveau jeu de données composé de 1 million de vidéos YouTube réparties en 487 catégories. Nous examinons plusieurs approches visant à étendre la connectivité d’un CNN dans le domaine temporel afin d’exploiter efficacement les informations spatio-temporelles locales, et proposons une architecture multirésolution à vision foveale comme une voie prometteuse pour accélérer l’entraînement. Nos meilleurs réseaux spatio-temporels montrent une amélioration significative par rapport à des bases fortes basées sur des caractéristiques (passant de 55,3 % à 63,9 %), mais une amélioration surprenante et modeste comparée aux modèles à image unique (passant de 59,3 % à 60,9 %). Nous étudions également la capacité de généralisation de notre meilleur modèle en réentraînant les couches supérieures sur le jeu de données UCF-101 pour la reconnaissance d’actions, observant alors une amélioration notable par rapport au modèle de référence UCF-101 (63,3 % contre 43,9 %).