Zero-Shot-Adversarische Quantisierung

Die Modellquantifizierung ist ein vielversprechender Ansatz zur Kompression tiefer neuronaler Netze und zur Beschleunigung der Inferenz, was es ermöglicht, diese Modelle auf mobilen und Edge-Geräten einzusetzen. Um die hohe Leistung von vollpräzisen Modellen zu gewährleisten, konzentrieren sich die meisten existierenden Quantifizierungsmethoden darauf, quantisierte Modelle durch Feinabstimmung (fine-tuning) zu optimieren, wobei sie davon ausgehen, dass Trainingsdatensätze zugänglich sind. In der Praxis wird jedoch diese Annahme oft nicht erfüllt, da Datenschutz- und Sicherheitsprobleme den Zugriff auf Trainingsdaten verhindern können. Dies macht diese Quantifizierungsmethoden unbrauchbar. Um eine zero-shot-Modellquantifizierung ohne Zugang zu Trainingsdaten zu erreichen, verwenden einige wenige Quantifizierungsmethoden entweder Post-Training-Quantifizierung oder die Erzeugung von Daten durch Batch-Normalisierungsstatistiken für die Feinabstimmung. Beide Ansätze leiden jedoch unvermeidlich unter geringer Leistung: Der erste Ansatz ist etwas zu empirisch und bietet keine ausreichende Trainingsunterstützung für ultraniedrigpräzise Quantifizierung, während der zweite Ansatz die Besonderheiten der ursprünglichen Daten nicht vollständig wiederherstellen kann und oft ineffizient bei der Erzeugung vielfältiger Daten ist.Um die genannten Probleme zu lösen, schlagen wir einen zero-shot-adversarischen Quantifizierungsrahmen (Zero-Shot Adversarial Quantization, ZAQ) vor. Dieser Rahmen ermöglicht eine effektive Diskrepanzschaetzung und Wissensübertragung von einem vollpräzisen Modell zu seinem quantisierten Pendant. Dies wird durch ein neuartiges zweistufiges Diskrepanzmodell erreicht, das einen Generator anregt, informative und vielfältige Datenbeispiele zu synthetisieren, um das quantisierte Modell in einem adversären Lernverfahren zu optimieren. Wir führen umfangreiche Experimente an drei grundlegenden Visionssystemaufgaben durch und zeigen dabei die Überlegenheit von ZAQ gegenüber starken zero-shot-Baselines sowie die Effektivität seiner Hauptkomponenten auf. Der Quellcode ist unter https://git.io/Jqc0y verfügbar.