L'interprétation vidéo repose sur la perception du contenu global et la modélisation des relations internes (par exemple, la causalité, le mouvement, la correspondance spatio-temporelle). Pour apprendre ces interactions, nous appliquons une tâche de pré-entraînement du type « masquage puis prédiction » sur des jetons vidéo discrétisés générés par VQ-VAE. Contrairement au langage, où les jetons textuels sont relativement indépendants, les jetons vidéo voisins présentent généralement des corrélations fortes (par exemple, des cadres vidéo consécutifs se ressemblent souvent fortement), et un masquage uniforme des jetons individuels rendrait la tâche trop triviale pour apprendre des représentations utiles. Pour résoudre ce problème, nous proposons une stratégie de masquage par blocs, où nous masquons simultanément des jetons vidéo voisins dans les domaines spatial et temporel. Nous intégrons également une méthode de apprentissage contrastif sans augmentation afin de mieux capturer le contenu global en prédisant si des extraits vidéo proviennent du même film. Nous pré-entraînons notre modèle sur des vidéos non curatrices et démontrons que notre modèle pré-entraîné atteint des résultats de pointe sur plusieurs jeux de données d'interprétation vidéo (par exemple, SSV2, Diving48). Enfin, nous fournissons une analyse détaillée de la scalabilité du modèle et de la conception de la méthode de pré-entraînement. Le code source est disponible à l'adresse suivante : https://github.com/airsplay/vimpac.