HyperAIHyperAI

Command Palette

Search for a command to run...

Incertainza Bayésienne pour l'agrégation des gradients dans l'apprentissage multi-tâches

Idan Achituve Idit Diamant Arnon Netzer Gal Chechik Ethan Fetaya

Résumé

Alors que l'apprentissage automatique gagne en importance, la demande croissante de réaliser plusieurs tâches d'inférence en parallèle se fait jour. Exécuter un modèle dédié pour chaque tâche s'avère coûteux en termes de calcul, ce qui explique l'intérêt croissant porté à l'apprentissage multi-tâches (Multi-Task Learning, MTL). L'objectif du MTL est d'apprendre un seul modèle capable de traiter efficacement plusieurs tâches simultanément. L'optimisation des modèles MTL est généralement réalisée en calculant un gradient unique par tâche, puis en les agrégant pour obtenir une direction de mise à jour combinée. Toutefois, ces approches négligent un aspect crucial : la sensibilité des dimensions du gradient. Dans cet article, nous proposons une nouvelle méthode d'agrégation de gradients basée sur l'inférence bayésienne. Nous définissons une distribution de probabilité sur les paramètres spécifiques à chaque tâche, ce qui induit à son tour une distribution sur les gradients associés à chaque tâche. Cette information supplémentaire permet de quantifier l'incertitude présente dans chaque dimension du gradient, et de l'intégrer explicitement lors de l'agrégation. Nous démontrons empiriquement les avantages de notre approche sur divers jeux de données, atteignant des performances de pointe dans plusieurs cas.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp