HyperAIHyperAI

Command Palette

Search for a command to run...

IFQ-Net: Integrierte Fixed-Point-Quantisierungsnetzwerke für eingebettete Vision

Hongxing Gao Wei Tao Dongchao Wen Tse-Wei Chen Kinya Osa Masami Kato

Zusammenfassung

Die Implementierung tiefer Modelle auf eingebetteten Geräten stellt seit dem großangelegten Erfolg von tiefen Lernnetzwerken ein herausforderndes Problem dar. Fixpunkt-Netzwerke, die ihre Daten mit wenigen Bits im Fixpunkt-Format darstellen und somit erhebliche Einsparungen beim Speicherverbrauch ermöglichen, werden generell bevorzugt. Obwohl aktuelle Fixpunkt-Netzwerke nur wenige Bits verwenden (z. B. 8 Bit), reichen die Speichereinsparungen für eingebettete Systeme nach wie vor nicht aus. Andererseits führen Quantisierungsnetzwerke wie XNOR-Net und HWGQNet, die die Daten auf 1 oder 2 Bit quantisieren, zu einer deutlich größeren Speichereinsparung, enthalten jedoch weiterhin zahlreiche Gleitkommawerte. In diesem Artikel schlagen wir ein Fixpunkt-Netzwerk für eingebettete Vision-Aufgaben vor, indem wir die Gleitkommawerte in einem Quantisierungsnetzwerk in Fixpunkt umwandeln. Um den durch die Umwandlung verursachten Informationsverlust zu kompensieren, schlagen wir vor, Gleitkommaberechnungen über mehrere Schichten (z. B. Faltungs-, Batch-Normalisierungs- und Quantisierungsschichten) zu kombinieren und diese integrierten Operationen anschließend in Fixpunkt umzuwandeln. Das so durch integrierte Umwandlung erzeugte Fixpunkt-Netzwerk nennen wir Integrated Fixed-point Quantization Networks (IFQ-Net). Wir zeigen, dass unser IFQ-Net bei vergleichbarer Genauigkeit auf ImageNet eine 2,16-fach größere Reduktion des Modellgrößen und eine 18-fach größere Einsparung des Speichers für Laufzeit-Funktionskarten ermöglicht. Darüber hinaus haben wir auf Basis von YOLOv2 den IFQ-Tinier-YOLO-Facesdetektor entworfen, ein reines Fixpunkt-Netzwerk, dessen Modellgröße um den Faktor 256 (von 246 k Byte) gegenüber Tiny-YOLO reduziert ist. Wir demonstrieren die vielversprechende Leistung unseres Facesdetektors hinsichtlich der Erkennungsrate am Face Detection Data Set and Benchmark (FDDB) sowie qualitativ ansprechende Ergebnisse bei der Erkennung kleiner Gesichter im Wider Face-Datensatz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp