HyperAIHyperAI

Command Palette

Search for a command to run...

EagleEye: Schnelle Sub-Netz-Evaluation für effiziente neuronale Netzwerk-Pruning

Bailin Li Bowen Wu Jiang Su Guangrun Wang Liang Lin

Zusammenfassung

Die Identifizierung des rechnerisch überflüssigen Teils eines trainierten tiefen neuronalen Netzwerks (Deep Neural Network, DNN) stellt die zentrale Herausforderung dar, auf die sich Pruning-Algorithmen konzentrieren. Viele Algorithmen versuchen, die Modellleistung der prunten Sub-Netzwerke durch Einführung verschiedener Bewertungsmethoden vorherzusagen. Diese Ansätze sind jedoch entweder ungenau oder zu komplex für eine allgemeine Anwendung. In dieser Arbeit präsentieren wir einen Pruning-Ansatz namens EagleEye, bei dem eine einfache und effiziente Bewertungskomponente auf Basis adaptiver Batch-Normalisierung eingesetzt wird, um eine starke Korrelation zwischen verschiedenen prunten DNN-Architekturen und ihrer endgültigen Genauigkeit aufzudecken. Diese starke Korrelation ermöglicht es uns, prunten Kandidaten mit der höchsten potenziellen Genauigkeit schnell zu identifizieren, ohne diese tatsächlich nachzutunen. Dieses Modul ist zudem allgemein einsetzbar und kann bestehende Pruning-Algorithmen ergänzen und verbessern. In unseren Experimenten erreicht EagleEye eine bessere Pruning-Leistung als alle verglichenen Algorithmen. Konkret übertrifft EagleEye bei der Pruning von MobileNet V1 und ResNet-50 alle anderen Methoden um bis zu 3,8 %. Selbst bei den anspruchsvolleren Experimenten zur Pruning des kompakten MobileNet V1-Modells erreicht EagleEye die höchste Genauigkeit von 70,9 % bei insgesamt 50 % reduzierten Berechnungsoperationen (FLOPs). Alle Genauigkeitswerte beziehen sich auf die Top-1-Genauigkeit bei der ImageNet-Klassifikation. Der Quellcode und die Modelle sind der Open-Source-Community über https://github.com/anonymous47823493/EagleEye zugänglich.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
EagleEye: Schnelle Sub-Netz-Evaluation für effiziente neuronale Netzwerk-Pruning | Paper | HyperAI