Apprentissage supervisé par auto-encodage fédéré pour la compréhension vidéo

L’omniprésence des appareils mobiles équipés de caméras a entraîné la production à grande échelle de données vidéo non étiquetées au niveau du bord (edge). Bien que diverses méthodes d’apprentissage auto-supervisé (SSL) aient été proposées pour exploiter leurs représentations spatio-temporelles latentes afin d’entraîner des modèles pour des tâches spécifiques, des défis pratiques tels que les préoccupations liées à la vie privée et les coûts de communication empêchent le déploiement à grande échelle du SSL. Pour atténuer ces problèmes, nous proposons d’appliquer l’apprentissage fédéré (FL) à la tâche du SSL vidéo. Dans ce travail, nous évaluons les performances des techniques les plus avancées (SOTA) en SSL vidéo actuelles et identifions leurs limites lorsqu’elles sont intégrées dans un cadre FL à grande échelle, simulé à l’aide du jeu de données Kinetics-400. Nous proposons ensuite un nouveau cadre fédéré pour le SSL vidéo, nommé FedVSSL, qui intègre différentes stratégies d’agrégation et une mise à jour partielle des poids. Des expériences étendues démontrent l’efficacité et l’importance de FedVSSL, qui surpasse les méthodes centralisées SOTA pour la tâche de récupération descendante de manière significative, de 6,66 % sur UCF-101 et de 5,13 % sur HMDB-51.