Apprentissage d'une alignement temporel implicite pour la classification vidéo à faibles exemples

La classification vidéo à peu d'exemples vise à apprendre de nouvelles catégories vidéo à partir d’un nombre très limité d’exemples étiquetés, réduisant ainsi la charge liée à l’annotation coûteuse dans les applications du monde réel. Toutefois, il est particulièrement difficile d’apprendre une représentation spatio-temporelle invariante par rapport à la classe dans un tel cadre. Pour répondre à ce défi, nous proposons dans ce travail une nouvelle stratégie d’apprentissage par correspondance pour les séquences vidéo. Notre idée principale consiste à introduire un alignement temporel implicite pour une paire de vidéos, permettant d’estimer de manière précise et robuste leur similarité. En outre, nous concevons un module d’encodage contextuel efficace afin d’intégrer le contexte spatial et le contexte sur les canaux de caractéristiques, améliorant ainsi la modélisation des variations intra-classe. Pour entraîner notre modèle, nous avons développé une fonction de perte multi-tâches visant à apprendre la correspondance vidéo, conduisant à des caractéristiques vidéo mieux généralisables. Des résultats expérimentaux étendus sur deux benchmarks exigeants montrent que notre méthode surpasser largement les approches précédentes sur SomethingSomething-V2, tout en obtenant des résultats compétitifs sur Kinetics.