HyperAIHyperAI

Command Palette

Search for a command to run...

Induzierung von Neural Collapse beim unbalancierten Lernen: Brauchen wir wirklich einen lernbaren Klassifikator am Ende eines tiefen neuronalen Netzes?

Yibo Yang Shixiang Chen Xiangtai Li Liang Xie Zhouchen Lin Dacheng Tao

Zusammenfassung

Moderne tiefe neuronale Netze für die Klassifikation lernen üblicherweise typischerweise gemeinsam einen Backbone zur Darstellung und einen linearen Klassifikator, um die Logits für jede Klasse auszugeben. Eine kürzlich durchgeführte Studie hat ein Phänomen namens Neural Collapse identifiziert, bei dem sich die innerhalb der Klasse liegenden Mittelwerte der Merkmale sowie die Klassifikatorvektoren im Endstadium des Trainings auf einem ausgewogenen Datensatz den Ecken eines Simplex-Äquiphasen-Tight-Frame (ETF) annähern. Da die geometrische Struktur des ETF die paarweisen Winkel aller Klassen im Klassifikator maximal trennt, stellt sich natürlich die Frage: Warum investieren wir Aufwand in das Lernen eines Klassifikators, wenn wir bereits seine optimale geometrische Struktur kennen? In diesem Artikel untersuchen wir das Potenzial, ein neuronales Netz für die Klassifikation zu trainieren, wobei der Klassifikator zufällig als ETF initialisiert und während des gesamten Trainings fixiert wird. Unsere analytischen Untersuchungen basierend auf dem Layer-Peeling-Modell zeigen, dass das Lernen von Merkmalen mit einem fixierten ETF-Klassifikator bereits im Fall unbalancierter Datensätze natürlicherweise zu einem Zustand des Neural Collapse führt. Darüber hinaus zeigen wir, dass in diesem Fall die Cross-Entropy-(CE)-Verlustfunktion nicht erforderlich ist und durch eine einfache quadratische Verlustfunktion ersetzt werden kann, die die gleiche globale Optimalität aufweist, jedoch eine bessere Konvergenzeigenschaft besitzt. Unsere experimentellen Ergebnisse belegen, dass unsere Methode auf mehreren unbalancierten Datensätzen erhebliche Verbesserungen mit schnellerer Konvergenz ermöglicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp