HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Cross-to-Merge-Training mit einer Klassenbalancierungsstrategie für das Lernen mit verrauschten Labels

{Qiu Chen YingWen Zhu Ge Jin Ming Yang Yi Zhu Qian Zhang}

Abstract

Die Erhebung großskaliger Datensätze führt zwangsläufig zu fehlerhaften Etikettierungen, was eine erhebliche Verschlechterung der Leistung von tiefen neuronalen Netzen (DNNs) verursacht. Obwohl die Stichprobenauswahl ein etabliertes Verfahren im Bereich des Lernens mit fehlerhaften Etiketten darstellt – mit dem Ziel, die Auswirkungen fehlerhafter Etiketten während des Trainings zu mildern – zeigen die Testleistungen dieser Methoden erhebliche Schwankungen in Abhängigkeit von der Fehlerquote und Art der Rauschkomponente. In diesem Artikel stellen wir ein neues Framework namens Cross-to-Merge Training (C2MT) vor, das unempfindlich gegenüber Vorwissen im Prozess der Stichprobenauswahl ist und somit die Robustheit des Modells erhöht. In der praktischen Umsetzung werden zwei verschiedene Netzwerke mit Hilfe der Co-Teaching-Strategie über mehrere lokale Runden gegenseitig trainiert, wobei die Trainingsdaten vorab in zwei Teile aufgeteilt werden. Anschließend werden die beiden Netzwerke periodisch durch Durchführung eines federierten Durchschnitts der Modellparameter zu einem einheitlichen Modell verschmolzen. Zudem führen wir eine neue Strategie zur Klassenbalancierung ein, die als Median-Balance-Strategie (MBS) bezeichnet wird und die Trainingsdaten basierend auf den geschätzten Eigenschaften der Verlustverteilung gleichmäßig in eine beschriftete und eine unbeschriftete Teilmenge aufteilt. Umfassende experimentelle Ergebnisse auf synthetischen und realen Datensätzen belegen die Wirksamkeit von C2MT. Der Quellcode wird unter folgender Adresse verfügbar sein: https://github.com/LanXiaoPang613/C2MT.

Benchmarks

BenchmarkMethodikMetriken
image-classification-on-clothing1mC2MT
Accuracy: 74.61%
learning-with-noisy-labels-on-animalC2MT
Accuracy: 85.9
ImageNet Pretrained: NO
Network: Vgg-19-BN
learning-with-noisy-labels-on-clothing1mC2MT
Test Accuracy: 74.61

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Cross-to-Merge-Training mit einer Klassenbalancierungsstrategie für das Lernen mit verrauschten Labels | Forschungsarbeiten | HyperAI