HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage non supervisé minimaliste avec la transformation de variété creuse

Yubei Chen Zeyu Yun Yi Ma Bruno Olshausen Yann LeCun

Résumé

Nous décrivons une méthode minimaliste et interprétable pour l'apprentissage non supervisé, sans recourir à l'augmentation de données, au réglage des hyperparamètres ou à d'autres conceptions d'ingénierie, qui atteint des performances proches des méthodes SSL (Self-Supervised Learning) les plus avancées. Notre approche utilise la transformation de variété creuse (sparse manifold transform), qui unifie le codage creux, l'apprentissage de variété et l'analyse de caractéristiques lentes. Avec une transformation de variété creuse déterministe en une couche, on peut atteindre une précision KNN top-1 de 99,3 % sur MNIST, 81,1 % sur CIFAR-10 et 53,2 % sur CIFAR-100. Avec une simple augmentation en niveaux de gris, le modèle obtient une précision KNN top-1 de 83,2 % sur CIFAR-10 et 57 % sur CIFAR-100. Ces résultats réduisent considérablement l'écart entre les méthodes simplistes « boîte blanche » et les méthodes les plus avancées. De plus, nous fournissons des visualisations pour expliquer comment se forme une transformation de représentation non supervisée. La méthode proposée est étroitement liée aux méthodes auto-supervisées par plongement latent et peut être considérée comme la forme la plus simple de VICReg. Bien qu'il reste un petit écart de performance entre notre modèle constructif simple et les méthodes les plus avancées, les preuves indiquent que c'est une direction prometteuse pour atteindre une approche non supervisée à la fois rigoureuse et « boîte blanche ».


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage non supervisé minimaliste avec la transformation de variété creuse | Articles | HyperAI