HyperAIHyperAI

Command Palette

Search for a command to run...

HMQ: Hardware-freundlicher Block zur gemischtpräzisen Quantisierung für CNNs

Hai Victor Habi Roy H. Jennings Arnon Netzer

Zusammenfassung

Neuere Arbeiten auf dem Gebiet der Netzwerk-Quantisierung erzielten state-of-the-art-Ergebnisse mithilfe von Mixed-Precision-Quantisierung. Eine zwingende Voraussetzung für viele effiziente Hardware-Implementierungen auf Edge-Geräten ist, dass ihre Quantisierer gleichmäßig sind und Schwellwerte mit Potenzen von Zwei aufweisen. In dieser Arbeit stellen wir den Hardware-freundlichen Mixed-Precision-Quantisierungsblock (HMQ) vor, um dieser Anforderung gerecht zu werden. Der HMQ ist ein Mixed-Precision-Quantisierungsblock, der den Gumbel-Softmax-Schätzer neu interpretiert, um eine glatte Schätzung eines Parametersatzes aus zwei Quantisierungsparametern – nämlich Bitbreite und Schwellwert – zu ermöglichen. Mit dieser Methode durchsucht der HMQ einen endlichen Raum möglicher Quantisierungsverfahren. Empirisch wenden wir HMQs auf die Quantisierung von Klassifizierungsmodellen an, die auf CIFAR10 und ImageNet trainiert wurden. Für ImageNet quantisieren wir vier verschiedene Architekturen und zeigen, dass wir trotz der zusätzlichen Einschränkungen in unserem Quantisierungsansatz wettbewerbsfähige Ergebnisse erzielen, die in einigen Fällen sogar state-of-the-art sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
HMQ: Hardware-freundlicher Block zur gemischtpräzisen Quantisierung für CNNs | Paper | HyperAI