HyperAIHyperAI

Command Palette

Search for a command to run...

Korrigieren der Datenverzerrung bei der Wissensdistanzierung

Yu Liu Haihang You Guanglu Song Shenghan Zhang Boxiao Liu

Zusammenfassung

Wissensdistillation ist eine repräsentative Technik zur Modellkompression und -beschleunigung, die für die Bereitstellung neuronaler Netze auf ressourcenbeschränkten Geräten von großer Bedeutung ist. Das Wissen, das vom Lehrmodell (teacher) auf das Schülermodell (student) übertragen wird, entspricht der Abbildung des Lehrmodells oder wird durch alle Eingabe-Ausgabe-Paare repräsentiert. In der Praxis lernt das Schülermodell jedoch nur aus den Datensätzen, die möglicherweise verzerrt sind, und wir vermuten, dass dies die Leistungsfähigkeit der Wissensdistillation einschränkt. In diesem Artikel definieren wir zunächst quantitativ die Gleichmäßigkeit der für das Training ausgewählten Daten und bieten damit einen einheitlichen Blickwinkel auf Methoden, die aus verzerrten Daten lernen. Anschließend bewerten wir die Gleichmäßigkeit anhand realer Datensätze und zeigen, dass bestehende Methoden tatsächlich die Gleichmäßigkeit der Daten verbessern. Wir führen zwei auf Gleichmäßigkeit ausgerichtete Methoden ein, um die Verzerrung der Daten bei der Wissensdistillation zu korrigieren. Umfangreiche Experimente an den Aufgaben Gesichtserkennung und Person-Re-Identifikation belegen die Wirksamkeit unseres Ansatzes. Darüber hinaus analysieren wir die ausgewählten Daten bei der Gesichtserkennung und zeigen, dass eine bessere Balance zwischen Rassen sowie zwischen einfachen und schwierigen Beispielen erreicht wird. Dieser Effekt lässt sich auch bei der Neustrukturierung des Schülermodells von Grund auf nachweisen und führt zu einer vergleichbaren Leistungsfähigkeit im Vergleich zur herkömmlichen Wissensdistillation.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Korrigieren der Datenverzerrung bei der Wissensdistanzierung | Paper | HyperAI