HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage supervisé par auto-encodage fédéré pour la compréhension vidéo

Yasar Abbas Ur Rehman Yan Gao Jiajun Shen Pedro Porto Buarque de Gusmao Nicholas Lane

Résumé

L’omniprésence des appareils mobiles équipés de caméras a entraîné la production à grande échelle de données vidéo non étiquetées au niveau du bord (edge). Bien que diverses méthodes d’apprentissage auto-supervisé (SSL) aient été proposées pour exploiter leurs représentations spatio-temporelles latentes afin d’entraîner des modèles pour des tâches spécifiques, des défis pratiques tels que les préoccupations liées à la vie privée et les coûts de communication empêchent le déploiement à grande échelle du SSL. Pour atténuer ces problèmes, nous proposons d’appliquer l’apprentissage fédéré (FL) à la tâche du SSL vidéo. Dans ce travail, nous évaluons les performances des techniques les plus avancées (SOTA) en SSL vidéo actuelles et identifions leurs limites lorsqu’elles sont intégrées dans un cadre FL à grande échelle, simulé à l’aide du jeu de données Kinetics-400. Nous proposons ensuite un nouveau cadre fédéré pour le SSL vidéo, nommé FedVSSL, qui intègre différentes stratégies d’agrégation et une mise à jour partielle des poids. Des expériences étendues démontrent l’efficacité et l’importance de FedVSSL, qui surpasse les méthodes centralisées SOTA pour la tâche de récupération descendante de manière significative, de 6,66 % sur UCF-101 et de 5,13 % sur HMDB-51.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp