Apprentissage Multi-Tâches comme Optimisation Multi-Objectifs

Dans l'apprentissage multi-tâches, plusieurs tâches sont résolues conjointement, en partageant le biais inductif entre elles. L'apprentissage multi-tâches est intrinsèquement un problème multi-objectifs car différentes tâches peuvent entrer en conflit, nécessitant un compromis. Un compromis courant consiste à optimiser un objectif intermédiaire qui minimise une combinaison linéaire pondérée des pertes par tâche. Cependant, cette solution de contournement n'est valide que lorsque les tâches ne sont pas en compétition, ce qui est rarement le cas. Dans cet article, nous explicitons l'apprentissage multi-tâches comme une optimisation multi-objectifs, avec pour objectif global de trouver une solution Pareto-optimale. À cette fin, nous utilisons des algorithmes développés dans la littérature sur l'optimisation multi-objectifs basée sur les gradients. Ces algorithmes ne sont pas directement applicables aux problèmes d'apprentissage à grande échelle car ils ne s'adaptent pas bien à la dimensionnalité des gradients et au nombre de tâches. Nous proposons donc une borne supérieure pour la perte multi-objectifs et montrons qu'elle peut être optimisée efficacement. Nous démontrons également que l'optimisation de cette borne supérieure conduit à une solution Pareto-optimale sous des hypothèses réalistes. Nous appliquons notre méthode à divers problèmes d'apprentissage profond multi-tâches, notamment la classification de chiffres, la compréhension de scènes (segmentation sémantique jointe, segmentation d'instances et estimation de profondeur) et la classification multi-étiquettes. Notre méthode produit des modèles plus performants que les formulations récentes d'apprentissage multi-tâches ou l'entraînement par tâche individuelle.