HyperAIHyperAI

Command Palette

Search for a command to run...

Préconditionneur Spécifique à la Tâche pour l'Apprentissage par Quelques Exemples en Domaines Différents

Suhyun Kang Jungwon Park Wonseok Lee Wonjong Rhee

Résumé

Les méthodes d'apprentissage par transfert à faibles données (Cross-Domain Few-Shot Learning, CDFSL) paramètrent généralement les modèles avec des paramètres indépendants de la tâche et des paramètres spécifiques à la tâche. Pour adapter les paramètres spécifiques à la tâche, les approches récentes ont utilisé des stratégies d'optimisation fixes, malgré leur potentiel sous-optimalité dans différents domaines ou tâches cibles. Afin de résoudre ce problème, nous proposons un nouveau mécanisme d'adaptation appelé descente de gradient préconditionnée spécifique à la tâche (Task-Specific Preconditioned gradient descent, TSP). Notre méthode commence par apprendre de manière métadynamique des préconditionneurs spécifiques au domaine (Domain-Specific Preconditioners, DSPs) qui capturent les caractéristiques de chaque domaine de métatrain. Ces préconditionneurs sont ensuite combinés linéairement en utilisant des coefficients de tâche pour former le préconditionneur spécifique à la tâche. Le préconditionneur est appliqué à la descente de gradient, rendant l'optimisation adaptative à la tâche cible. Nous restreignons nos préconditionneurs pour qu'ils soient définis positifs, guidant ainsi le gradient préconditionné vers la direction de descente maximale. Les évaluations empiriques sur le Meta-Dataset montrent que TSP atteint des performances de pointe dans divers scénarios expérimentaux.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Préconditionneur Spécifique à la Tâche pour l'Apprentissage par Quelques Exemples en Domaines Différents | Articles | HyperAI