HyperAIHyperAI

Command Palette

Search for a command to run...

Gelernte Schrittweitenquantisierung

Steven K. Esser; Jeffrey L. McKinstry; Deepika Bablani; Rathinakumar Appuswamy; Dharmendra S. Modha

Zusammenfassung

Tiefe Netzwerke, die bei der Inferenz mit niedrig präzisen Operationen betrieben werden, bieten im Vergleich zu hoch präzisen Alternativen Vorteile hinsichtlich Energieverbrauch und Platzbedarf, müssen jedoch die Herausforderung meistern, die Genauigkeit bei abnehmender Präzision aufrechtzuerhalten. In diesem Artikel stellen wir eine Methode zur Ausbildung solcher Netzwerke vor, die als Learned Step Size Quantization (LSSQ) bezeichnet wird. Diese Methode erreicht den bislang höchsten Genauigkeitsgrad auf dem ImageNet-Datensatz, wenn Modelle aus verschiedenen Architekturen mit Gewichten und Aktivierungen, die auf 2-, 3- oder 4-Bit-Präzision quantisiert wurden, verwendet werden. Darüber hinaus kann sie 3-Bit-Modelle trainieren, die die vollständige Präzisionsbasisgenauigkeit erreichen.Unser Ansatz baut auf bestehenden Methoden zur Lerngewichtung in quantisierten Netzwerken auf und verbessert die Konfiguration des Quantisierers selbst. Insbesondere führen wir ein neues Verfahren ein, um den Task-Loss-Gradienten an jedem Gewichts- und Aktivierungsschicht-Quantisierungsschritt zu schätzen und zu skalieren, so dass er zusammen mit anderen Netzwerkparametern gelernt werden kann. Dieses Verfahren funktioniert mit unterschiedlichen Präzisionsstufen je nach Anforderungen des Systems und erfordert nur eine einfache Modifikation des vorhandenen Trainingscodes.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp