HyperAIHyperAI

Command Palette

Search for a command to run...

Training von Multi-bit quantisierten und binarisierten Netzwerken mit einem lernbaren symmetrischen Quantisierer

Phuoc Pham Jacob Abraham Jaeyong Chung

Zusammenfassung

Die Quantisierung von Gewichten und Aktivierungen tiefer neuronaler Netze ist entscheidend für deren Einsatz auf ressourcenbeschränkten Geräten oder Cloud-Plattformen für skalierbare Dienste. Während die Binarisierung ein Spezialfall der Quantisierung darstellt, führt dieser extreme Fall häufig zu erheblichen Schwierigkeiten beim Training und erfordert spezialisierte Modelle sowie spezifische Trainingsmethoden. Infolge dessen bieten neuere Quantisierungsmethoden in der Regel keine Binarisierung an, wodurch die ressourceneffizienteste Option verloren geht, und quantisierte sowie binarisierte Netzwerke sind zu getrennten Forschungsfeldern geworden. Wir untersuchen die Schwierigkeiten der Binarisierung im Rahmen eines Quantisierungsframeworks und stellen fest, dass zur Unterstützung des binären Trainings lediglich ein symmetrischer Quantisierer, eine gute Initialisierung und eine sorgfältige Hyperparameterauswahl erforderlich sind. Diese Techniken führen zudem zu erheblichen Verbesserungen bei der Multi-Bit-Quantisierung. Wir demonstrieren unser einheitliches Quantisierungsframework, bezeichnet als UniQ, anhand des ImageNet-Datensatzes mit verschiedenen Architekturen wie ResNet-18, ResNet-34 und MobileNetV2. Bei der Multi-Bit-Quantisierung erreicht UniQ die bisher beste Genauigkeit und übertrifft bestehende Methoden. Bei der Binarisierung erzielt UniQ eine Genauigkeit, die mit den aktuellen State-of-the-Art-Methoden vergleichbar ist, selbst ohne Modifikation der ursprünglichen Architekturen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp