Auto-Lambda : Découplage des Relations Dynamiques entre les Tâches

La compréhension de la structure de plusieurs tâches interconnectées permet d’améliorer la capacité de généralisation d’une ou de toutes les tâches grâce à l’apprentissage multi-tâches. Toutefois, cette approche nécessite généralement d’entraîner chaque paire de tâches conjointement afin de capturer leurs relations, ce qui s’accompagne d’un coût computationnel extrêmement élevé. Dans ce travail, nous apprenons les relations entre les tâches à l’aide d’un cadre d’attribution automatique des poids, nommé Auto-Lambda. Contrairement aux méthodes précédentes, où les relations entre les tâches sont supposées fixes, Auto-Lambda est un cadre d’apprentissage métadonnées basé sur les gradients, qui explore des relations dynamiques et continues entre les tâches grâce à des poids spécifiques à chaque tâche, et peut optimiser n’importe quelle combinaison de tâches via la formulation d’une perte méta ; dans ce cadre, la perte sur les données de validation influence automatiquement les poids des tâches tout au long de l’entraînement. Nous appliquons le cadre proposé à des problèmes d’apprentissage multi-tâches et d’apprentissage auxiliaire en vision par ordinateur et en robotique, et montrons que Auto-Lambda atteint des performances de pointe, même en comparaison avec des stratégies d’optimisation conçues spécifiquement pour chaque problème et domaine de données. Enfin, nous observons que Auto-Lambda peut découvrir des comportements d’apprentissage intéressants, offrant ainsi de nouvelles perspectives sur l’apprentissage multi-tâches. Le code est disponible à l’adresse suivante : https://github.com/lorenmt/auto-lambda.