Apprentissage mutuel pour s’adapter à la segmentation humaine et à l’estimation de posture conjointes

Cet article présente un nouveau modèle d’apprentissage mutuel pour l’adaptation (MuLA) visant à réaliser conjointement la segmentation humaine et l’estimation de la posture. Ce modèle exploite efficacement les bénéfices mutuels des deux tâches et améliore simultanément les performances des deux. Contrairement aux méthodes existantes basées sur un post-traitement ou l’apprentissage multi-tâches, MuLA prédit des paramètres de modèle spécifiques à chaque tâche de manière dynamique en s’appuyant de manière récurrente sur des informations de guidance provenant des tâches parallèles. Ainsi, MuLA permet une adaptation rapide des modèles de segmentation et de posture en intégrant des informations provenant de leurs contreparties, offrant ainsi des représentations plus puissantes, plus robustes et plus précises. Le modèle MuLA est implémenté à l’aide de réseaux de neurones convolutifs et est entièrement entraînable en end-to-end. Des expériences approfondies sur les benchmarks LIP et PASCAL-Person-Part étendu démontrent l’efficacité du modèle proposé, qui surpasser les méthodes de référence bien établies.