XKD : Distillation de connaissances intermodale avec alignement de domaine pour l'apprentissage de représentations vidéo

Nous présentons XKD, un nouveau cadre d'apprentissage auto-supervisé pour apprendre des représentations significatives à partir de vidéos non étiquetées. XKD est entraîné avec deux objectifs pseudo. Premièrement, la reconstruction de données masquées est effectuée pour apprendre des représentations spécifiques à chaque modalité à partir des flux audio et visuels. Ensuite, une distillation de connaissances inter-modales auto-supervisée est réalisée entre les deux modalités par le biais d'un dispositif maître-élève afin d'apprendre des informations complémentaires. Nous introduisons une nouvelle stratégie d'alignement de domaine pour traiter la disparité de domaine entre les modalités audio et visuelles, permettant ainsi une distillation efficace de connaissances inter-modales. De plus, pour développer un réseau polyvalent capable de gérer à la fois les flux audio et visuels, nous proposons des variantes modality-agnostic (modalité-agnostiques) de XKD qui utilisent le même backbone préentraîné pour différentes tâches audio et visuelles. Notre distillation inter-modale proposée améliore la classification d'actions vidéo de 8 % à 14 % sur UCF101, HMDB51 et Kinetics400. De plus, XKD améliore la classification d'actions multimodales de 5,5 % sur Kinetics-Sound. XKD montre des performances de pointe dans la classification sonore sur ESC50, atteignant une précision top-1 de 96,5 %.