HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage peu supervisé à travers les domaines avec des adaptateurs spécifiques aux tâches

Wei-Hong Li Xialei Liu Hakan Bilen

Résumé

Dans cet article, nous étudions le problème de la classification à faibles exemples dans un cadre multi-domaines, qui vise à apprendre un classificateur à partir de classes et de domaines auparavant inconnus, à partir de très peu d'exemples étiquetés. Les approches récentes résolvent généralement ce problème en paramétrant leurs classificateurs à faibles exemples à l’aide de poids partagés entre les tâches (task-agnostic) et de poids spécifiques à la tâche (task-specific), où les premiers sont typiquement appris sur un grand ensemble d’entraînement, tandis que les seconds sont prédits dynamiquement via un réseau auxiliaire conditionné sur un petit ensemble de support. Dans ce travail, nous nous concentrons sur l’estimation des poids spécifiques à la tâche, et proposons d’apprendre directement ces poids à partir de zéro sur un petit ensemble de support, au lieu de les estimer de manière dynamique. Plus précisément, grâce à une analyse systématique, nous montrons que l’usage de poids spécifiques à la tâche obtenus à l’aide d’adaptateurs paramétriques sous forme matricielle, dotés de connexions résiduelles vers plusieurs couches intermédiaires d’un réseau principal (backbone), permet d’améliorer significativement les performances des modèles de pointe sur le benchmark Meta-Dataset, avec un coût supplémentaire négligeable.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp