EagleEye: Schnelle Sub-Netz-Evaluation für effiziente neuronale Netzwerk-Pruning

Die Identifizierung des rechnerisch überflüssigen Teils eines trainierten tiefen neuronalen Netzwerks (Deep Neural Network, DNN) stellt die zentrale Herausforderung dar, auf die sich Pruning-Algorithmen konzentrieren. Viele Algorithmen versuchen, die Modellleistung der prunten Sub-Netzwerke durch Einführung verschiedener Bewertungsmethoden vorherzusagen. Diese Ansätze sind jedoch entweder ungenau oder zu komplex für eine allgemeine Anwendung. In dieser Arbeit präsentieren wir einen Pruning-Ansatz namens EagleEye, bei dem eine einfache und effiziente Bewertungskomponente auf Basis adaptiver Batch-Normalisierung eingesetzt wird, um eine starke Korrelation zwischen verschiedenen prunten DNN-Architekturen und ihrer endgültigen Genauigkeit aufzudecken. Diese starke Korrelation ermöglicht es uns, prunten Kandidaten mit der höchsten potenziellen Genauigkeit schnell zu identifizieren, ohne diese tatsächlich nachzutunen. Dieses Modul ist zudem allgemein einsetzbar und kann bestehende Pruning-Algorithmen ergänzen und verbessern. In unseren Experimenten erreicht EagleEye eine bessere Pruning-Leistung als alle verglichenen Algorithmen. Konkret übertrifft EagleEye bei der Pruning von MobileNet V1 und ResNet-50 alle anderen Methoden um bis zu 3,8 %. Selbst bei den anspruchsvolleren Experimenten zur Pruning des kompakten MobileNet V1-Modells erreicht EagleEye die höchste Genauigkeit von 70,9 % bei insgesamt 50 % reduzierten Berechnungsoperationen (FLOPs). Alle Genauigkeitswerte beziehen sich auf die Top-1-Genauigkeit bei der ImageNet-Klassifikation. Der Quellcode und die Modelle sind der Open-Source-Community über https://github.com/anonymous47823493/EagleEye zugänglich.