HyperAIHyperAI

Command Palette

Search for a command to run...

Zur schnelleren Schulung von Global Covariance Pooling Netzen durch iterative Matrix-Quadratwurzel-Normalisierung

Peihua Li Jiangtao Xie Qilong Wang Zilin Gao

Zusammenfassung

Die globale Kovarianz-Pooling-Methode in Faltungsneuronalen Netzen hat im Vergleich zum klassischen Pooling erster Ordnung beeindruckende Verbesserungen erzielt. Neuere Arbeiten haben gezeigt, dass die Matrixquadratwurzel-Normalisierung eine zentrale Rolle bei der Erreichung von Spitzenleistungen spielt. Bestehende Methoden hängen jedoch stark von Eigenwertzerlegung (EIG) oder Singulärwertzerlegung (SVD) ab und leiden unter ineffizientem Training aufgrund des begrenzten Supports für EIG und SVD auf GPUs. Um dieses Problem zu lösen, schlagen wir eine iterative Matrixquadratwurzel-Normalisierungsmethode vor, die ein schnelles end-to-end-Training von globalen Kovarianz-Pooling-Netzen ermöglicht. Im Zentrum unserer Methode steht eine Metaschicht, die mit einer Schleifenstruktur versehen ist. Diese Metaschicht besteht aus drei aufeinanderfolgenden nichtlinearen strukturierten Schichten, die jeweils Vornormalisierung, gekoppelte Matrixiteration und Nachkompensation durchführen. Unsere Methode ist viel schneller als EIG- oder SVD-basierte Methoden, da sie nur Matrixmultiplikationen umfasst, die sich gut zur parallelen Implementierung auf GPUs eignen. Darüber hinaus kann das vorgeschlagene Netzwerk mit ResNet-Architektur in deutlich weniger Epochen konvergieren, was das Training des Netzwerks weiter beschleunigt. Auf dem großen ImageNet-Datensatz erreichen wir wettbewerbsfähige Leistungen, die denen bestehender Ansätze überlegen sind. Durch Feinabstimmung unserer auf ImageNet vortrainierten Modelle erzielen wir Stand der Technik ergebende Resultate auf drei anspruchsvollen feinkörnigen Benchmarks. Der Quellcode und die Netzwerkmodelle werden unter http://www.peihuali.org/iSQRT-COV verfügbar sein.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Zur schnelleren Schulung von Global Covariance Pooling Netzen durch iterative Matrix-Quadratwurzel-Normalisierung | Paper | HyperAI