SynthDistill: Gesichtserkennung mit Wissensdistillation aus synthetischen Daten

Zustandsgemäße Gesichtserkennungsnetze sind oft rechenintensiv und können nicht für mobile Anwendungen verwendet werden. Das Training von leichten Gesichtserkennungsmodellen erfordert ebenfalls große, mit Identitätslabels versehene Datensätze. Gleichzeitig gibt es Bedenken hinsichtlich der Privatsphäre und Ethik bei der Sammlung und Nutzung großer Gesichtserkennungsdatensätze. Obwohl die Erstellung synthetischer Datensätze zur Ausbildung von Gesichtserkennungsmodellen eine Alternative darstellt, ist es schwierig, synthetische Daten mit ausreichender innerklassischer Variation zu generieren. Darüber hinaus besteht weiterhin ein erheblicher Leistungsunterschied zwischen Modellen, die auf realen und synthetischen Daten trainiert wurden.In dieser Arbeit schlagen wir einen neuen Rahmen (benannt SynthDistill) vor, um leichte Gesichtserkennungsmodelle durch Wissensdistillation eines vortrainierten Lehrer-Gesichtserkennungsmodells unter Verwendung synthetischer Daten zu trainieren. Wir verwenden ein vortrainiertes Gesichtsgeneratoren-Netzwerk zur Erstellung synthetischer Gesichtsbilder und lernen damit ein leichtes Schülers-Netzwerk. Dabei nutzen wir synthetische Gesichtsbilder ohne Identitätslabels, was die Probleme bei der Generierung der innerklassischen Variation in synthetischen Datensätzen mindert. Stattdessen schlagen wir eine neuartige dynamische Abstrichsstrategie aus dem intermediären Latentenraum des Gesichtsgeneratoren-Netzwerks vor, um neue Variationen herausfordernder Bilder einzubeziehen und gleichzeitig neue Gesichtsbilder im Trainingsbatch weiter zu erforschen.Die Ergebnisse auf fünf verschiedenen Gesichtserkennungsdatensätzen zeigen die Überlegenheit unseres leichten Modells im Vergleich zu Modellen, die auf früheren synthetischen Datensätzen trainiert wurden. Unser Modell erreicht eine Verifikationsgenauigkeit von 99,52 % auf dem LFW-Datensatz mit einem leichten Netzwerk. Die Ergebnisse belegen zudem, dass unser vorgeschlagener Rahmen den Leistungsunterschied zwischen dem Training mit realen und synthetischen Daten erheblich reduziert. Der Quellcode zur Reproduktion der Experimente wurde öffentlich freigegeben.