{Sanguk Park Dongchan Park Geonwoo Park Mobeen Ahmad}

Résumé

La réponse à des questions sur des vidéos constitue une tâche complexe exigeant une compréhension conjointe de la vidéo et de la question dans un même contexte. Cette difficulté s’accroît lorsque les questions impliquent un raisonnement, comme la prédiction d’événements futurs ou l’explication d’événements contre-factuels, car elles nécessitent des connaissances non explicitement présentes dans les données. Les méthodes existantes reposent sur une fusion grossière des caractéristiques vidéo et linguistiques, négligeant ainsi l’information temporelle. Pour remédier à ce défaut, nous proposons un nouveau module de fusion vision-langage qui apprend le contexte temporel de la vidéo et de la question. Notre module étend les jetons de la question le long de l’axe temporel de la vidéo, puis les fusionne avec les caractéristiques vidéo afin de générer de nouvelles représentations intégrant à la fois un contexte local et global. Nous avons évalué notre méthode sur quatre jeux de données de réponse à des questions sur des vidéos, notamment MSVD-QA, NExT-QA, Causal-VidQA et AGQA-2.0.