HyperAIHyperAI

Command Palette

Search for a command to run...

Auto-Lambda : Découplage des Relations Dynamiques entre les Tâches

Shikun Liu Stephen James Andrew J. Davison Edward Johns

Résumé

La compréhension de la structure de plusieurs tâches interconnectées permet d’améliorer la capacité de généralisation d’une ou de toutes les tâches grâce à l’apprentissage multi-tâches. Toutefois, cette approche nécessite généralement d’entraîner chaque paire de tâches conjointement afin de capturer leurs relations, ce qui s’accompagne d’un coût computationnel extrêmement élevé. Dans ce travail, nous apprenons les relations entre les tâches à l’aide d’un cadre d’attribution automatique des poids, nommé Auto-Lambda. Contrairement aux méthodes précédentes, où les relations entre les tâches sont supposées fixes, Auto-Lambda est un cadre d’apprentissage métadonnées basé sur les gradients, qui explore des relations dynamiques et continues entre les tâches grâce à des poids spécifiques à chaque tâche, et peut optimiser n’importe quelle combinaison de tâches via la formulation d’une perte méta ; dans ce cadre, la perte sur les données de validation influence automatiquement les poids des tâches tout au long de l’entraînement. Nous appliquons le cadre proposé à des problèmes d’apprentissage multi-tâches et d’apprentissage auxiliaire en vision par ordinateur et en robotique, et montrons que Auto-Lambda atteint des performances de pointe, même en comparaison avec des stratégies d’optimisation conçues spécifiquement pour chaque problème et domaine de données. Enfin, nous observons que Auto-Lambda peut découvrir des comportements d’apprentissage intéressants, offrant ainsi de nouvelles perspectives sur l’apprentissage multi-tâches. Le code est disponible à l’adresse suivante : https://github.com/lorenmt/auto-lambda.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp