Qimera: Quantifizierung ohne Daten mit synthetisch unterstützten Randbeispielen

Die Modellquantifizierung ist als vielversprechende Methode zur Kompression tiefer neuronaler Netze bekannt, insbesondere für Inferenzen auf leichten mobilen oder Edge-Geräten. Allerdings erfordert die Modellquantifizierung in der Regel Zugriff auf die ursprünglichen Trainingsdaten, um die Genauigkeit der vollpräzisen Modelle zu gewährleisten. Dies ist jedoch in vielen realen Szenarien aufgrund von Sicherheits- und Datenschutzproblemen oft nicht möglich. Ein gängiger Ansatz, um die Quantifizierung ohne Zugriff auf die ursprünglichen Daten durchzuführen, besteht darin, synthetisch generierte Stichproben zu verwenden, basierend auf Batch-Normalisierungsstatistiken oder adversarialem Lernen. Der Nachteil solcher Ansätze liegt jedoch darin, dass sie hauptsächlich auf zufälligem Rauschen im Generator basieren, um eine Vielfalt der synthetischen Stichproben zu erreichen. Wir stellen fest, dass dies häufig unzureichend ist, um die Verteilung der ursprünglichen Daten zu erfassen, insbesondere in der Nähe der Entscheidungsgrenzen.Zu diesem Zweck schlagen wir Qimera vor, eine Methode, die überlagerte latente Einbettungen verwendet, um synthetische Grenzunterstützungssamples zu generieren. Um die überlagerten Einbettungen besser mit der ursprünglichen Verteilung übereinstimmen zu lassen, schlagen wir auch den Einsatz eines zusätzlichen Entwirbelungsabbildungsschichts (disentanglement mapping layer) und das Extrahieren von Informationen aus dem vollpräzisen Modell vor. Die experimentellen Ergebnisse zeigen, dass Qimera für verschiedene Einstellungen bei datenfreier Quantifizierung Spitzenleistungen erzielt. Der Code ist unter https://github.com/iamkanghyunchoi/qimera verfügbar.