Zur schnelleren Schulung von Global Covariance Pooling Netzen durch iterative Matrix-Quadratwurzel-Normalisierung

Die globale Kovarianz-Pooling-Methode in Faltungsneuronalen Netzen hat im Vergleich zum klassischen Pooling erster Ordnung beeindruckende Verbesserungen erzielt. Neuere Arbeiten haben gezeigt, dass die Matrixquadratwurzel-Normalisierung eine zentrale Rolle bei der Erreichung von Spitzenleistungen spielt. Bestehende Methoden hängen jedoch stark von Eigenwertzerlegung (EIG) oder Singulärwertzerlegung (SVD) ab und leiden unter ineffizientem Training aufgrund des begrenzten Supports für EIG und SVD auf GPUs. Um dieses Problem zu lösen, schlagen wir eine iterative Matrixquadratwurzel-Normalisierungsmethode vor, die ein schnelles end-to-end-Training von globalen Kovarianz-Pooling-Netzen ermöglicht. Im Zentrum unserer Methode steht eine Metaschicht, die mit einer Schleifenstruktur versehen ist. Diese Metaschicht besteht aus drei aufeinanderfolgenden nichtlinearen strukturierten Schichten, die jeweils Vornormalisierung, gekoppelte Matrixiteration und Nachkompensation durchführen. Unsere Methode ist viel schneller als EIG- oder SVD-basierte Methoden, da sie nur Matrixmultiplikationen umfasst, die sich gut zur parallelen Implementierung auf GPUs eignen. Darüber hinaus kann das vorgeschlagene Netzwerk mit ResNet-Architektur in deutlich weniger Epochen konvergieren, was das Training des Netzwerks weiter beschleunigt. Auf dem großen ImageNet-Datensatz erreichen wir wettbewerbsfähige Leistungen, die denen bestehender Ansätze überlegen sind. Durch Feinabstimmung unserer auf ImageNet vortrainierten Modelle erzielen wir Stand der Technik ergebende Resultate auf drei anspruchsvollen feinkörnigen Benchmarks. Der Quellcode und die Netzwerkmodelle werden unter http://www.peihuali.org/iSQRT-COV verfügbar sein.