Command Palette
Search for a command to run...
Auto-Supervision par Prototype pour le Transfert d'Apprentissage en Classification à Peu d'Exemples
Auto-Supervision par Prototype pour le Transfert d'Apprentissage en Classification à Peu d'Exemples
Carlos Medina∗† Arnout Devos∗ Matthias Grossglauser
Résumé
La plupart des approches en apprentissage à faible supervision (few-shot learning) s'appuient sur des données annotées coûteuses liées au domaine de la tâche cible lors de l'entraînement (pré-entraînement). Récemment, les méthodes d'apprentissage métadynamique non supervisées ont échangé l'exigence d'annotation contre une réduction des performances de classification à faible supervision. Parallèlement, dans des configurations avec un décalage de domaine réaliste, l'apprentissage par transfert courant a été montré comme surpassant l'apprentissage métadynamique supervisé. En nous appuyant sur ces constatations et sur les progrès réalisés en apprentissage auto-supervisé, nous proposons une approche d'apprentissage par transfert qui construit une plongée métrique regroupant étroitement des échantillons prototypiques non étiquetés et leurs augmentations. Cette plongée pré-entraînée constitue un point de départ pour la classification à faible supervision par le biais du résumé des clusters de classes et du réglage fin. Nous démontrons que notre approche d'apprentissage par transfert prototypique auto-supervisée, appelée ProtoTransfer, surpasse les méthodes d'apprentissage métadynamique non supervisées de pointe sur des tâches à faible supervision issues du jeu de données mini-ImageNet. Dans des expériences à faible supervision avec décalage de domaine, notre méthode présente même des performances comparables à celles des méthodes supervisées, mais nécessite un nombre de labels inférieur de plusieurs ordres de grandeur.