VideoCoCa : Modélisation vidéo-texte avec transfert zéro-shot à partir de modèles d’annotation contrastifs

Nous explorons une approche efficace pour établir un modèle fondamental vidéo-texte. Nous présentons VideoCoCa, qui réutilise au maximum un modèle préentraîné de captioning contrastif image-texte (CoCa) et l’adapte aux tâches vidéo-texte avec une formation supplémentaire minimale. Alors que les travaux antérieurs adaptaient les modèles image-texte en introduisant divers modules de fusion entre cadres, nous constatons que les couches de pooling attentionnelles génératives et contrastives présentes dans CoCa sont directement adaptatives aux embeddings plats de cadres, permettant d’obtenir des résultats de pointe en classification vidéo zéro-shot et en recherche texte-vidéo zéro-shot. En outre, nous étudions une fine-tuning légère sur le modèle VideoCoCa, et parvenons à des résultats remarquables en réponse à des questions sur vidéo et en captioning vidéo.