Cross-to-Merge-Training mit einer Klassenbalancierungsstrategie für das Lernen mit verrauschten Labels

Die Erhebung großskaliger Datensätze führt zwangsläufig zu fehlerhaften Etikettierungen, was eine erhebliche Verschlechterung der Leistung von tiefen neuronalen Netzen (DNNs) verursacht. Obwohl die Stichprobenauswahl ein etabliertes Verfahren im Bereich des Lernens mit fehlerhaften Etiketten darstellt – mit dem Ziel, die Auswirkungen fehlerhafter Etiketten während des Trainings zu mildern – zeigen die Testleistungen dieser Methoden erhebliche Schwankungen in Abhängigkeit von der Fehlerquote und Art der Rauschkomponente. In diesem Artikel stellen wir ein neues Framework namens Cross-to-Merge Training (C2MT) vor, das unempfindlich gegenüber Vorwissen im Prozess der Stichprobenauswahl ist und somit die Robustheit des Modells erhöht. In der praktischen Umsetzung werden zwei verschiedene Netzwerke mit Hilfe der Co-Teaching-Strategie über mehrere lokale Runden gegenseitig trainiert, wobei die Trainingsdaten vorab in zwei Teile aufgeteilt werden. Anschließend werden die beiden Netzwerke periodisch durch Durchführung eines federierten Durchschnitts der Modellparameter zu einem einheitlichen Modell verschmolzen. Zudem führen wir eine neue Strategie zur Klassenbalancierung ein, die als Median-Balance-Strategie (MBS) bezeichnet wird und die Trainingsdaten basierend auf den geschätzten Eigenschaften der Verlustverteilung gleichmäßig in eine beschriftete und eine unbeschriftete Teilmenge aufteilt. Umfassende experimentelle Ergebnisse auf synthetischen und realen Datensätzen belegen die Wirksamkeit von C2MT. Der Quellcode wird unter folgender Adresse verfügbar sein: https://github.com/LanXiaoPang613/C2MT.