HyperAIHyperAI

Command Palette

Search for a command to run...

Übertragen tiefe Netzwerke Invarianzen über Klassen hinweg?

Allan Zhou Fahim Tajwar Alexander Robey Tom Knowles George J. Pappas Hamed Hassani Chelsea Finn

Zusammenfassung

Um gut generalisieren zu können, müssen Klassifikatoren lernen, invariant gegenüber Störtransformationen zu sein, die die Klasse eines Eingabewerts nicht verändern. Viele Probleme weisen „klassenunabhängige“ Störtransformationen auf, die für alle Klassen gleichartig wirken, wie beispielsweise Änderungen der Beleuchtung oder des Hintergrunds bei der Bildklassifikation. Neuronale Netzwerke können diese Invarianzen bei ausreichendem Datenvolumen erlernen, doch viele realweltbezogene Datensätze sind stark klassenunbalanciert und enthalten für die meisten Klassen nur wenige Beispiele. Wir stellen daher die Frage: Wie gut übertragen neuronale Netzwerke klassenunabhängige Invarianzen, die aus den großen Klassen gelernt wurden, auf die kleineren Klassen? Durch sorgfältige Experimente stellen wir fest, dass die Invarianz gegenüber klassenunabhängigen Transformationen weiterhin stark von der Klassenanzahl abhängt, wobei die Netzwerke gegenüber kleineren Klassen deutlich weniger invariant sind. Dieses Ergebnis hält auch bei Verwendung von Datenausgleichstechniken bestand, was auf eine schlechte Übertragung von Invarianzen zwischen Klassen hindeutet. Unsere Ergebnisse liefern eine Erklärung dafür, warum Klassifikatoren bei unbalancierten und langschwänzigen Verteilungen schlecht generalisieren. Auf Basis dieser Analyse zeigen wir, wie ein generativer Ansatz zur Lernung der Störtransformationen die Übertragung von Invarianzen zwischen Klassen unterstützen und die Leistung auf einer Reihe von unbalancierten Benchmark-Datensätzen für die Bildklassifikation verbessern kann. Der Quellcode für unsere Experimente ist unter https://github.com/AllanYangZhou/generative-invariance-transfer verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp