HyperAIHyperAI

Command Palette

Search for a command to run...

Pousser les limites des pipelines simples pour l’apprentissage peu supervisé : les données externes et le fine-tuning font la différence

Shell Xu Hu Da Li Jan Stühmer Minyoung Kim Timothy M. Hospedales

Résumé

L’apprentissage par peu d’exemples (few-shot learning, FSL) constitue un problème important et actuel en vision par ordinateur, ayant stimulé une recherche intensive portant sur de nombreuses méthodes, allant des approches complexes d’apprentissage métadonnées (meta-learning) aux bases simples d’apprentissage par transfert (transfer learning). Nous cherchons à repousser les limites d’un pipeline simple mais efficace afin de mieux répondre à des scénarios plus réalistes et pratiques de classification d’images par peu d’exemples. À cette fin, nous explorons l’apprentissage par peu d’exemples sous l’angle de l’architecture des réseaux neuronaux, ainsi que d’un pipeline en trois étapes d’actualisation du réseau selon différentes disponibilités de données : les données externes non étiquetées sont utilisées pour un pré-entraînement, les catégories de base servent à simuler des tâches par peu d’exemples pour l’entraînement métadonnées, et les données peu étiquetées d’une tâche nouvelle sont exploitées pour le finetuning. Nous examinons des questions telles que : (1) Quels bénéfices apporte le pré-entraînement sur des données externes au FSL ? (2) Comment exploiter au mieux les architectures de transformateurs les plus avancées ? et (3) Comment le finetuning atténue-t-il le décalage de domaine ? En fin de compte, nous démontrons qu’un pipeline basé sur un transformateur simple obtient des performances étonnamment bonnes sur des benchmarks standards tels que Mini-ImageNet, CIFAR-FS, CDFSL et Meta-Dataset. Notre code et une démonstration sont disponibles à l’adresse https://hushell.github.io/pmf.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp