Induzierung von Neural Collapse beim unbalancierten Lernen: Brauchen wir wirklich einen lernbaren Klassifikator am Ende eines tiefen neuronalen Netzes?

Moderne tiefe neuronale Netze für die Klassifikation lernen üblicherweise typischerweise gemeinsam einen Backbone zur Darstellung und einen linearen Klassifikator, um die Logits für jede Klasse auszugeben. Eine kürzlich durchgeführte Studie hat ein Phänomen namens Neural Collapse identifiziert, bei dem sich die innerhalb der Klasse liegenden Mittelwerte der Merkmale sowie die Klassifikatorvektoren im Endstadium des Trainings auf einem ausgewogenen Datensatz den Ecken eines Simplex-Äquiphasen-Tight-Frame (ETF) annähern. Da die geometrische Struktur des ETF die paarweisen Winkel aller Klassen im Klassifikator maximal trennt, stellt sich natürlich die Frage: Warum investieren wir Aufwand in das Lernen eines Klassifikators, wenn wir bereits seine optimale geometrische Struktur kennen? In diesem Artikel untersuchen wir das Potenzial, ein neuronales Netz für die Klassifikation zu trainieren, wobei der Klassifikator zufällig als ETF initialisiert und während des gesamten Trainings fixiert wird. Unsere analytischen Untersuchungen basierend auf dem Layer-Peeling-Modell zeigen, dass das Lernen von Merkmalen mit einem fixierten ETF-Klassifikator bereits im Fall unbalancierter Datensätze natürlicherweise zu einem Zustand des Neural Collapse führt. Darüber hinaus zeigen wir, dass in diesem Fall die Cross-Entropy-(CE)-Verlustfunktion nicht erforderlich ist und durch eine einfache quadratische Verlustfunktion ersetzt werden kann, die die gleiche globale Optimalität aufweist, jedoch eine bessere Konvergenzeigenschaft besitzt. Unsere experimentellen Ergebnisse belegen, dass unsere Methode auf mehreren unbalancierten Datensätzen erhebliche Verbesserungen mit schnellerer Konvergenz ermöglicht.