Feather: Eine elegante Lösung für eine effektive Sparsifizierung von DNNs

Neuronales Netzwerk-Pruning ist eine zunehmend beliebte Methode zur Erzeugung kompakter und effizienter Modelle, die sich für ressourcenbeschränkte Umgebungen eignen, ohne dabei eine hohe Leistungsfähigkeit zu verlieren. Während das Pruning traditionell über einen mehrfach durchgeführten Trainings- und Feinabstimmungsprozess erfolgen kann, liegt der aktuelle Trend darin, den Sparsifizierungsprozess während des standardmäßigen Trainingsverlaufs zu integrieren. Hierzu stellen wir Feather vor, ein effizientes Modul für sparses Training, das als Kernkomponente den leistungsfähigen Straight-Through Estimator nutzt, kombiniert mit einem neuen Schwellenwertoperator und einer Gradienten-Skalierungstechnik, welche eine robuste, sofort einsatzbereite Sparsifizierung ermöglichen. Die Wirksamkeit und Anpassungsfähigkeit von Feather wird anhand verschiedener Architekturen auf dem CIFAR-Datensatz demonstriert. Auf ImageNet erreicht Feather mit der ResNet-50-Architektur eine state-of-the-art Top-1-Validierungsgenauigkeit und übertrifft bestehende Methoden – einschließlich komplexerer und rechenintensiverer Ansätze – mit einer erheblichen Lücke. Der Quellcode ist öffentlich unter https://github.com/athglentis/feather verfügbar.