HyperAIHyperAI

Command Palette

Search for a command to run...

L'apprentissage multi-tâches comme un jeu de négociation

Aviv Navon Aviv Shamsian Idan Achituve Haggai Maron Kenji Kawaguchi Gal Chechik Ethan Fetaya

Résumé

Dans l'apprentissage multi-tâches (MTL), un modèle conjoint est entraîné pour effectuer simultanément des prédictions sur plusieurs tâches. L'entraînement conjoint réduit les coûts de calcul et améliore l'efficacité des données ; toutefois, comme les gradients associés à ces différentes tâches peuvent entrer en conflit, l'entraînement d'un modèle conjoint en MTL donne souvent des performances inférieures à celles de ses homologues à tâche unique. Une méthode courante pour atténuer ce problème consiste à combiner les gradients par tâche en une direction de mise à jour conjointe à l'aide d'une heuristique particulière. Dans cet article, nous proposons de considérer l'étape de combinaison des gradients comme un jeu de négociation, dans lequel les tâches négocient pour parvenir à un accord sur une direction conjointe de mise à jour des paramètres. Sous certaines hypothèses, ce problème de négociation admet une solution unique, connue sous le nom de Solution de Négociation de Nash, que nous proposons d'utiliser comme approche fondée pour l'apprentissage multi-tâches. Nous décrivons une nouvelle procédure d'optimisation pour le MTL, appelée Nash-MTL, et établissons des garanties théoriques concernant sa convergence. Expérimentalement, nous montrons que Nash-MTL atteint des résultats de pointe sur plusieurs benchmarks de MTL dans divers domaines.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp