Rep-MTL : Déverrouiller le pouvoir de la salience des tâches au niveau de la représentation pour l'apprentissage multi-tâches

Bien que l'apprentissage multi-tâches (MTL) promette d'exploiter les connaissances complémentaires entre les tâches, les techniques existantes d'optimisation multi-tâches (MTO) restent focalisées sur la résolution des conflits via des stratégies de mise à l'échelle des pertes et de manipulation des gradients centrées sur l'optimiseur. Cependant, ces approches ne parviennent pas à garantir des gains cohérents. Dans cet article, nous affirmons que l'espace de représentation partagée, où les interactions entre tâches ont lieu naturellement, offre des informations riches et un potentiel pour des opérations complémentaires aux optimiseurs existants, en particulier pour faciliter la complémentarité inter-tâches, un aspect rarement exploré dans le MTO. Cette intuition conduit à Rep-MTL, une méthode qui exploite la salience des tâches au niveau des représentations pour quantifier les interactions entre l'optimisation spécifique à chaque tâche et l'apprentissage des représentations partagées. En guidant ces saliences via une pénalisation basée sur l'entropie et une alignement croisé par échantillon, Rep-MTL vise à atténuer le transfert négatif en maintenant l'efficacité de l'entraînement individuel des tâches, plutôt que de se concentrer uniquement sur la résolution des conflits, tout en favorisant explicitement le partage d'informations complémentaires entre les tâches. Des expériences ont été menées sur quatre benchmarks de MTL difficiles couvrant à la fois des scénarios de décalage de tâche (task-shift) et de décalage de domaine (domain-shift). Les résultats montrent que Rep-MTL, même associé à une politique de pondération égale basique, obtient des gains de performance compétitifs avec une efficacité satisfaisante. En dehors des métriques de performance standards, l'analyse de l'exposant de la loi de puissance démontre l'efficacité de Rep-MTL dans l'équilibre entre l'apprentissage spécifique à chaque tâche et le partage inter-tâches. La page du projet est disponible à l'adresse HERE.