Gelernte Schrittweitenquantisierung

Tiefe Netzwerke, die bei der Inferenz mit niedrig präzisen Operationen betrieben werden, bieten im Vergleich zu hoch präzisen Alternativen Vorteile hinsichtlich Energieverbrauch und Platzbedarf, müssen jedoch die Herausforderung meistern, die Genauigkeit bei abnehmender Präzision aufrechtzuerhalten. In diesem Artikel stellen wir eine Methode zur Ausbildung solcher Netzwerke vor, die als Learned Step Size Quantization (LSSQ) bezeichnet wird. Diese Methode erreicht den bislang höchsten Genauigkeitsgrad auf dem ImageNet-Datensatz, wenn Modelle aus verschiedenen Architekturen mit Gewichten und Aktivierungen, die auf 2-, 3- oder 4-Bit-Präzision quantisiert wurden, verwendet werden. Darüber hinaus kann sie 3-Bit-Modelle trainieren, die die vollständige Präzisionsbasisgenauigkeit erreichen.Unser Ansatz baut auf bestehenden Methoden zur Lerngewichtung in quantisierten Netzwerken auf und verbessert die Konfiguration des Quantisierers selbst. Insbesondere führen wir ein neues Verfahren ein, um den Task-Loss-Gradienten an jedem Gewichts- und Aktivierungsschicht-Quantisierungsschritt zu schätzen und zu skalieren, so dass er zusammen mit anderen Netzwerkparametern gelernt werden kann. Dieses Verfahren funktioniert mit unterschiedlichen Präzisionsstufen je nach Anforderungen des Systems und erfordert nur eine einfache Modifikation des vorhandenen Trainingscodes.