HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen eines einheitlichen Klassifikators inkrementell über Umverteilung

Dahua Lin Zilei Wang Chen Change Loy Xinyu Pan Saihui Hou

Zusammenfassung

Traditionell werden tiefe neuronale Netze offline trainiert und dabei auf umfangreiche, im Voraus vorbereitete Datensätze angewiesen. Dieses Paradigma steht in der Praxis oft vor Herausforderungen, beispielsweise bei Online-Diensten, die kontinuierliche Datenströme verarbeiten müssen. In jüngster Zeit gewinnt das inkrementelle Lernen zunehmend an Aufmerksamkeit und gilt als vielversprechende Lösung für die genannten praktischen Probleme. Allerdings ist beobachtet worden, dass inkrementelles Lernen einer grundlegenden Schwierigkeit unterliegt – dem katastrophalen Vergessen, d. h. die Anpassung eines Modells an neue Daten führt häufig zu einer erheblichen Leistungseinbuße bei früheren Aufgaben oder Klassen. Unsere Studie zeigt, dass das Ungleichgewicht zwischen alten und neuen Daten eine entscheidende Ursache für dieses Problem darstellt. In dieser Arbeit entwickeln wir einen neuen Ansatz für das inkrementelle Lernen eines einheitlichen Klassifikators, beispielsweise eines Klassifikators, der alte und neue Klassen gleichwertig behandelt. Konkret integrieren wir drei Komponenten – Kosinus-Normalisierung, ein Less-Forget-Beschränkungsprinzip und eine Inter-Klassen-Trennung –, um die negativen Auswirkungen dieses Ungleichgewichts zu mildern. Experimente belegen, dass die vorgeschlagene Methode den Trainingsprozess effektiv ausbalancieren kann und somit eine überlegene Leistung im Vergleich zu bestehenden Methoden erzielt. Auf CIFAR-100 und ImageNet kann unsere Methode die Klassifizierungsfehler unter einer inkrementellen Einstellung mit 10 Phasen um mehr als 6 % bzw. 13 % reduzieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp