Réseau prototypique contrastif avec pénalité de confiance de Wasserstein

L'apprentissage non supervisé à peu de exemples vise à extraire une biais inductif à partir d’un ensemble de données non étiquetées afin de résoudre des tâches nouvelles à peu de exemples. Les modèles existants d’apprentissage non supervisé à peu de exemples et les modèles d’apprentissage par contraste suivent un paradigme unifié. Nous menons donc une étude empirique dans ce cadre et constatons que les contrastes par paires, les pertes méta et la taille de lot importante sont des facteurs de conception essentiels. Ceci conduit à la proposition de notre modèle CPN (Contrastive Prototypical Network), qui combine la perte prototypique avec un contraste par paires et surpasse les modèles existants issus de ce paradigme, même avec une taille de lot modérément élevée. En outre, l’utilisation d’une cible de prédiction one-hot dans CPN peut entraîner l’apprentissage d’informations spécifiques aux échantillons. Pour remédier à cela, nous proposons une pénalité de confiance de Wasserstein, qui applique une pénalité appropriée aux prédictions trop confiantes en se basant sur les relations sémantiques entre les pseudo-classes. Notre modèle complet, CPNWCP (Contrastive Prototypical Network with Wasserstein Confidence Penalty), atteint des performances de pointe sur miniImageNet et tieredImageNet dans un cadre non supervisé. Notre code est disponible à l’adresse suivante : https://github.com/Haoqing-Wang/CPNWCP.