Passage de Messages par Auto-Attention pour l'Apprentissage Contraste à Partir de Peu d'Exemples

Les humains possèdent une capacité unique à apprendre de nouvelles représentations à partir d'un nombre limité d'exemples et avec peu ou pas de supervision. Les modèles d'apprentissage profond, en revanche, nécessitent une abondance de données et de supervision pour atteindre un niveau de performance satisfaisant. L'apprentissage par quelques exemples non supervisé (U-FSL) vise à combler cet écart entre les machines et les humains. Inspirés par la capacité des réseaux neuronaux graphiques (GNNs) à découvrir des relations complexes entre les échantillons, nous proposons une nouvelle approche d'apprentissage contrastif basée sur le passage de messages avec attention auto (dénommée SAMP-CLR) pour l'pré-entraînement U-FSL. Nous proposons également une stratégie de fine-tuning basée sur le transport optimal (OT) (que nous appelons OpT-Tune) afin d'induire efficacement une prise de conscience des tâches dans notre cadre novateur d'apprentissage par quelques exemples non supervisé, bout-en-bout (SAMPTransfer). Nos résultats expérimentaux étendus confirment l'efficacité de SAMPTransfer dans divers scénarios de classification par quelques exemples en aval, établissant un nouveau standard pour l'U-FSL sur les benchmarks miniImagenet et tieredImagenet, offrant respectivement jusqu'à 7%+ et 5%+ d'amélioration. Nos investigations ultérieures montrent également que SAMPTransfer reste au même niveau que certaines méthodes supervisées sur miniImagenet et surpasse toutes les méthodes U-FSL existantes dans un scénario inter-domaines difficile. Notre code est disponible dans notre dépôt GitHub à l'adresse https://github.com/ojss/SAMPTransfer/.