Übertragen tiefe Netzwerke Invarianzen über Klassen hinweg?

Um gut generalisieren zu können, müssen Klassifikatoren lernen, invariant gegenüber Störtransformationen zu sein, die die Klasse eines Eingabewerts nicht verändern. Viele Probleme weisen „klassenunabhängige“ Störtransformationen auf, die für alle Klassen gleichartig wirken, wie beispielsweise Änderungen der Beleuchtung oder des Hintergrunds bei der Bildklassifikation. Neuronale Netzwerke können diese Invarianzen bei ausreichendem Datenvolumen erlernen, doch viele realweltbezogene Datensätze sind stark klassenunbalanciert und enthalten für die meisten Klassen nur wenige Beispiele. Wir stellen daher die Frage: Wie gut übertragen neuronale Netzwerke klassenunabhängige Invarianzen, die aus den großen Klassen gelernt wurden, auf die kleineren Klassen? Durch sorgfältige Experimente stellen wir fest, dass die Invarianz gegenüber klassenunabhängigen Transformationen weiterhin stark von der Klassenanzahl abhängt, wobei die Netzwerke gegenüber kleineren Klassen deutlich weniger invariant sind. Dieses Ergebnis hält auch bei Verwendung von Datenausgleichstechniken bestand, was auf eine schlechte Übertragung von Invarianzen zwischen Klassen hindeutet. Unsere Ergebnisse liefern eine Erklärung dafür, warum Klassifikatoren bei unbalancierten und langschwänzigen Verteilungen schlecht generalisieren. Auf Basis dieser Analyse zeigen wir, wie ein generativer Ansatz zur Lernung der Störtransformationen die Übertragung von Invarianzen zwischen Klassen unterstützen und die Leistung auf einer Reihe von unbalancierten Benchmark-Datensätzen für die Bildklassifikation verbessern kann. Der Quellcode für unsere Experimente ist unter https://github.com/AllanYangZhou/generative-invariance-transfer verfügbar.