Propagation d'Embedding : une variété plus lisse pour la classification en peu d'exemples

La classification à peu de exemples est un défi car la distribution des données de l’ensemble d’apprentissage peut différer fortement de celle de l’ensemble de test, les classes étant disjointes entre les deux. Ce décalage de distribution entraîne souvent une mauvaise généralisation. La lissage de variété (manifold smoothing) a été montré comme une solution efficace au problème de décalage de distribution en étendant les frontières de décision et en réduisant le bruit des représentations de classes. En outre, la lissité de la variété constitue un facteur clé dans les algorithmes d’apprentissage semi-supervisé et d’apprentissage transductif. Dans ce travail, nous proposons d’utiliser la propagation d’embeddings comme régularisateur non paramétrique non supervisé pour le lissage de variété dans la classification à peu de exemples. La propagation d’embeddings exploite des interpolations entre les caractéristiques extraites par un réseau neuronal, fondées sur un graphe de similarité. Nous montrons empiriquement que la propagation d’embeddings conduit à une variété d’embeddings plus lisse. Nous démontrons également que l’application de cette propagation à un classificateur transductif permet d’atteindre de nouveaux résultats d’état de l’art sur les jeux de données mini-Imagenet, tiered-Imagenet, Imagenet-FS et CUB. En outre, nous montrons que la propagation d’embeddings améliore de manière cohérente la précision des modèles dans plusieurs scénarios d’apprentissage semi-supervisé, jusqu’à 16 points de pourcentage. L’opération de propagation d’embeddings proposée peut être facilement intégrée comme une couche non paramétrique dans un réseau neuronal. Nous mettons à disposition le code d’entraînement ainsi que des exemples d’utilisation à l’adresse suivante : https://github.com/ElementAI/embedding-propagation.