Adaptive neuronale Verbindungen für die Sparsitätslernen

Sparsity-Lernen zielt darauf ab, die rechnerischen und speicherbasierten Kosten großer tiefer neuronaler Netze (DNNs) durch das Auslassen von Neuronenverbindungen zu verringern, während gleichzeitig eine hohe Genauigkeit beibehalten wird. Eine große Anzahl von Arbeiten hat Methoden für das Sparsity-Lernen entwickelt, wobei jüngste großskalige Experimente gezeigt haben, dass zwei zentrale Ansätze – Magnituden-Pruning und Variational Dropout (VD) – vergleichbare state-of-the-art-Ergebnisse für Klassifizierungsaufgaben erzielen. Wir schlagen Adaptive Neuronale Verbindungen (ANC) vor, eine Methode zur expliziten Parametrisierung fein granularer Neuron-zu-Neuron-Verbindungen mittels Nachbarschaftsmatrizen in jeder Schicht, die durch Rückpropagation gelernt werden. Die explizite Parametrisierung von Neuron-zu-Neuron-Verbindungen bietet zwei Hauptvorteile: Erstens kann Sparsität explizit über Norm-basierte Regularisierung der Nachbarschaftsmatrizen optimiert werden; zweitens ermöglicht die Kombination mit VD (die wir ANC-VD nennen), die Nachbarschaftsmatrizen als gelernte Gewichts-Wichtigkeitsparameter zu interpretieren, was wir als Ursache für eine verbesserte Konvergenz von VD vermuten. Experimente mit ResNet18 zeigen, dass Architekturen, die mit ANC erweitert wurden, ihre unmodifizierten Gegenstücke überlegen sind.