HyperAIHyperAI

Command Palette

Search for a command to run...

Zero-Shot-Adversarische Quantisierung

Yuang Liu Wei Zhang* Jun Wang*

Zusammenfassung

Die Modellquantifizierung ist ein vielversprechender Ansatz zur Kompression tiefer neuronaler Netze und zur Beschleunigung der Inferenz, was es ermöglicht, diese Modelle auf mobilen und Edge-Geräten einzusetzen. Um die hohe Leistung von vollpräzisen Modellen zu gewährleisten, konzentrieren sich die meisten existierenden Quantifizierungsmethoden darauf, quantisierte Modelle durch Feinabstimmung (fine-tuning) zu optimieren, wobei sie davon ausgehen, dass Trainingsdatensätze zugänglich sind. In der Praxis wird jedoch diese Annahme oft nicht erfüllt, da Datenschutz- und Sicherheitsprobleme den Zugriff auf Trainingsdaten verhindern können. Dies macht diese Quantifizierungsmethoden unbrauchbar. Um eine zero-shot-Modellquantifizierung ohne Zugang zu Trainingsdaten zu erreichen, verwenden einige wenige Quantifizierungsmethoden entweder Post-Training-Quantifizierung oder die Erzeugung von Daten durch Batch-Normalisierungsstatistiken für die Feinabstimmung. Beide Ansätze leiden jedoch unvermeidlich unter geringer Leistung: Der erste Ansatz ist etwas zu empirisch und bietet keine ausreichende Trainingsunterstützung für ultraniedrigpräzise Quantifizierung, während der zweite Ansatz die Besonderheiten der ursprünglichen Daten nicht vollständig wiederherstellen kann und oft ineffizient bei der Erzeugung vielfältiger Daten ist.Um die genannten Probleme zu lösen, schlagen wir einen zero-shot-adversarischen Quantifizierungsrahmen (Zero-Shot Adversarial Quantization, ZAQ) vor. Dieser Rahmen ermöglicht eine effektive Diskrepanzschaetzung und Wissensübertragung von einem vollpräzisen Modell zu seinem quantisierten Pendant. Dies wird durch ein neuartiges zweistufiges Diskrepanzmodell erreicht, das einen Generator anregt, informative und vielfältige Datenbeispiele zu synthetisieren, um das quantisierte Modell in einem adversären Lernverfahren zu optimieren. Wir führen umfangreiche Experimente an drei grundlegenden Visionssystemaufgaben durch und zeigen dabei die Überlegenheit von ZAQ gegenüber starken zero-shot-Baselines sowie die Effektivität seiner Hauptkomponenten auf. Der Quellcode ist unter https://git.io/Jqc0y verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Zero-Shot-Adversarische Quantisierung | Paper | HyperAI