HyperAIHyperAI

Command Palette

Search for a command to run...

Adaptive neuronale Verbindungen für die Sparsitätslernen

Prakhar Kaushik Hava Siegelmann Alex Gain

Zusammenfassung

Sparsity-Lernen zielt darauf ab, die rechnerischen und speicherbasierten Kosten großer tiefer neuronaler Netze (DNNs) durch das Auslassen von Neuronenverbindungen zu verringern, während gleichzeitig eine hohe Genauigkeit beibehalten wird. Eine große Anzahl von Arbeiten hat Methoden für das Sparsity-Lernen entwickelt, wobei jüngste großskalige Experimente gezeigt haben, dass zwei zentrale Ansätze – Magnituden-Pruning und Variational Dropout (VD) – vergleichbare state-of-the-art-Ergebnisse für Klassifizierungsaufgaben erzielen. Wir schlagen Adaptive Neuronale Verbindungen (ANC) vor, eine Methode zur expliziten Parametrisierung fein granularer Neuron-zu-Neuron-Verbindungen mittels Nachbarschaftsmatrizen in jeder Schicht, die durch Rückpropagation gelernt werden. Die explizite Parametrisierung von Neuron-zu-Neuron-Verbindungen bietet zwei Hauptvorteile: Erstens kann Sparsität explizit über Norm-basierte Regularisierung der Nachbarschaftsmatrizen optimiert werden; zweitens ermöglicht die Kombination mit VD (die wir ANC-VD nennen), die Nachbarschaftsmatrizen als gelernte Gewichts-Wichtigkeitsparameter zu interpretieren, was wir als Ursache für eine verbesserte Konvergenz von VD vermuten. Experimente mit ResNet18 zeigen, dass Architekturen, die mit ANC erweitert wurden, ihre unmodifizierten Gegenstücke überlegen sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp