HyperAIHyperAI

Command Palette

Search for a command to run...

HPTQ: hardwarefreundliche post-training Quantisierung

Hai Victor Habi Reuven Peretz Elad Cohen Lior Dikstein Oranit Dror Idit Diamant Roy H. Jennings Arnon Netzer

Zusammenfassung

Neuronale Netzwerk-Quantisierung ermöglicht die Bereitstellung von Modellen auf Edge-Geräten. Eine wesentliche Voraussetzung für deren Hardware-Effizienz ist, dass die Quantisierer hardwarefreundlich sind: gleichmäßig, symmetrisch und mit Potenzen von Zwei als Schwellenwerten. Sofern wir wissen, unterstützen derzeitige Methoden der post-training-Quantisierung diese drei Bedingungen gleichzeitig nicht. In dieser Arbeit stellen wir einen hardwarefreundlichen Framework für post-training-Quantisierung (HPTQ) vor, der dieses Problem durch eine synergetische Kombination mehrerer bekannter Quantisierungsverfahren löst. Wir führen eine großangelegte Studie über vier Aufgaben durch: Klassifikation, Objektdetektion, semantische Segmentierung und Pose-Schätzung, und zwar an einer Vielzahl unterschiedlicher Netzwerkarchitekturen. Unsere umfangreichen Experimente zeigen, dass unter hardwarefreundlichen Einschränkungen konkurrenzfähige Ergebnisse erzielt werden können.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp