Generative Low-Bitweite Datenfreie Quantisierung

Die Quantisierung neuronaler Netze ist eine effektive Methode zur Kompression tiefer Modelle und zur Verbesserung ihrer Ausführungsverzögerung und Energieeffizienz, sodass sie auf mobilen oder eingebetteten Geräten bereitgestellt werden können. Bestehende Quantisierungsverfahren erfordern Originaldaten für die Kalibrierung oder Feinabstimmung, um bessere Leistungen zu erzielen. In vielen realen Szenarien sind jedoch die Daten aufgrund vertraulicher oder privater Probleme nicht verfügbar, was bestehende Quantisierungsverfahren unbrauchbar macht. Zudem kann aufgrund des Fehlens von Originaldaten die kürzlich entwickelte Technik der generativen adversären Netzwerke (GANs) nicht angewendet werden, um Daten zu generieren. Obwohl das vollpräzise Modell reichhaltige Dateninformationen enthalten mag, ist diese Information alleine schwer nutzbar, um die Originaldaten wiederherzustellen oder neue sinnvolle Daten zu generieren. In dieser Arbeit untersuchen wir eine einfache, aber effektive Methode namens Generative Low-bitwidth Data Free Quantization (GDFQ), um die Abhängigkeit von Daten zu reduzieren. Insbesondere schlagen wir einen Wissensanpassungs-Generator vor, der durch Nutzung der Klassifikationsgrenzwissens und Verteilungsinformationen im vortrainierten Modell sinnvolle synthetische Daten erzeugt. Mit Hilfe der generierten Daten können wir ein Modell quantisieren, indem wir Wissen aus dem vortrainierten Modell lernen. Umfangreiche Experimente mit drei Datensätzen zeigen die Effektivität unserer Methode. Kritischer noch erreicht unsere Methode bei einer 4-Bit-Quantisierung eine viel höhere Genauigkeit als existierende datenfreie Quantisierungsverfahren. Der Quellcode ist unter https://github.com/xushoukai/GDFQ verfügbar.