Korrigieren der Datenverzerrung bei der Wissensdistanzierung

Wissensdistillation ist eine repräsentative Technik zur Modellkompression und -beschleunigung, die für die Bereitstellung neuronaler Netze auf ressourcenbeschränkten Geräten von großer Bedeutung ist. Das Wissen, das vom Lehrmodell (teacher) auf das Schülermodell (student) übertragen wird, entspricht der Abbildung des Lehrmodells oder wird durch alle Eingabe-Ausgabe-Paare repräsentiert. In der Praxis lernt das Schülermodell jedoch nur aus den Datensätzen, die möglicherweise verzerrt sind, und wir vermuten, dass dies die Leistungsfähigkeit der Wissensdistillation einschränkt. In diesem Artikel definieren wir zunächst quantitativ die Gleichmäßigkeit der für das Training ausgewählten Daten und bieten damit einen einheitlichen Blickwinkel auf Methoden, die aus verzerrten Daten lernen. Anschließend bewerten wir die Gleichmäßigkeit anhand realer Datensätze und zeigen, dass bestehende Methoden tatsächlich die Gleichmäßigkeit der Daten verbessern. Wir führen zwei auf Gleichmäßigkeit ausgerichtete Methoden ein, um die Verzerrung der Daten bei der Wissensdistillation zu korrigieren. Umfangreiche Experimente an den Aufgaben Gesichtserkennung und Person-Re-Identifikation belegen die Wirksamkeit unseres Ansatzes. Darüber hinaus analysieren wir die ausgewählten Daten bei der Gesichtserkennung und zeigen, dass eine bessere Balance zwischen Rassen sowie zwischen einfachen und schwierigen Beispielen erreicht wird. Dieser Effekt lässt sich auch bei der Neustrukturierung des Schülermodells von Grund auf nachweisen und führt zu einer vergleichbaren Leistungsfähigkeit im Vergleich zur herkömmlichen Wissensdistillation.