Apprentissage non supervisé minimaliste avec la transformation de variété creuse

Nous décrivons une méthode minimaliste et interprétable pour l'apprentissage non supervisé, sans recourir à l'augmentation de données, au réglage des hyperparamètres ou à d'autres conceptions d'ingénierie, qui atteint des performances proches des méthodes SSL (Self-Supervised Learning) les plus avancées. Notre approche utilise la transformation de variété creuse (sparse manifold transform), qui unifie le codage creux, l'apprentissage de variété et l'analyse de caractéristiques lentes. Avec une transformation de variété creuse déterministe en une couche, on peut atteindre une précision KNN top-1 de 99,3 % sur MNIST, 81,1 % sur CIFAR-10 et 53,2 % sur CIFAR-100. Avec une simple augmentation en niveaux de gris, le modèle obtient une précision KNN top-1 de 83,2 % sur CIFAR-10 et 57 % sur CIFAR-100. Ces résultats réduisent considérablement l'écart entre les méthodes simplistes « boîte blanche » et les méthodes les plus avancées. De plus, nous fournissons des visualisations pour expliquer comment se forme une transformation de représentation non supervisée. La méthode proposée est étroitement liée aux méthodes auto-supervisées par plongement latent et peut être considérée comme la forme la plus simple de VICReg. Bien qu'il reste un petit écart de performance entre notre modèle constructif simple et les méthodes les plus avancées, les preuves indiquent que c'est une direction prometteuse pour atteindre une approche non supervisée à la fois rigoureuse et « boîte blanche ».