Réseau de Classification Auto-Supervisé

Nous présentons Self-Classifier -- une nouvelle approche d'apprentissage de classification auto-supervisée et de bout en bout. Self-Classifier apprend les étiquettes et les représentations simultanément, dans une seule étape et de manière intégrée, en optimisant la prédiction de classe identique pour deux vues augmentées du même échantillon. Pour garantir des solutions non dégénérées (c'est-à-dire des solutions où toutes les étiquettes ne sont pas attribuées à la même classe), nous proposons une variante mathématiquement motivée de la fonction de perte entropie croisée, qui impose une distribution uniforme sur les étiquettes prédites. Dans notre analyse théorique, nous démontrons que les solutions dégénérées ne font pas partie de l'ensemble des solutions optimales de notre approche. Self-Classifier est simple à implémenter et évolutif. Contrairement aux autres approches populaires d'apprentissage non supervisé de classification et d'apprentissage par contraste des représentations, il n'exige aucune forme de pré-entraînement, d'algorithme espérance-maximisation, d'étiquetage pseudo-supervisé, de clustering externe, d'un deuxième réseau neuronal, d'opérations stop-gradient ou de paires négatives. Malgré sa simplicité, notre méthode établit un nouveau niveau d'excellence pour la classification non supervisée d'ImageNet ; elle atteint également des résultats comparables aux meilleurs actuels pour l'apprentissage non supervisé des représentations. Le code source est disponible à l'adresse suivante : https://github.com/elad-amrani/self-classifier.