Induire la collapsibilité neuronale dans l’apprentissage déséquilibré : avons-nous vraiment besoin d’un classificateur apprenable à la fin d’un réseau de neurones profond ?

Les réseaux neuronaux profonds modernes destinés à la classification apprennent généralement de manière conjointe un modèle de base (backbone) pour la représentation des données et un classificateur linéaire pour produire les logit de chaque classe. Une étude récente a mis en évidence un phénomène appelé « collapse neural », selon lequel, à la phase finale de l’entraînement sur un jeu de données équilibré, les moyennes intra-classes des caractéristiques et les vecteurs du classificateur convergent vers les sommets d’un cadre équiangular tight (ETF) simplexe. Étant donné que la structure géométrique ETF sépare maximale ment les angles entre paires de classes dans le classificateur, il est naturel de se poser la question suivante : pourquoi dépenser des efforts pour apprendre un classificateur si l’on connaît déjà sa structure géométrique optimale ? Dans cet article, nous étudions le potentiel d’un apprentissage de réseau neuronal pour la classification en initialisant aléatoirement le classificateur comme un ETF et en le maintenant fixe pendant l’entraînement. Nos analyses fondées sur le modèle « layer-peeled » indiquent que l’apprentissage des caractéristiques avec un classificateur ETF fixe conduit naturellement à l’état de collapse neural, même lorsque les classes sont déséquilibrées. Nous montrons également que, dans ce cadre, la perte par entropie croisée (CE) n’est pas nécessaire et peut être remplacée par une perte quadratique simple, qui partage la même optimalité globale mais présente une meilleure propriété de convergence. Nos résultats expérimentaux démontrent que notre méthode permet d’obtenir des améliorations significatives avec une convergence plus rapide sur plusieurs jeux de données déséquilibrés.