HyperAIHyperAI

Command Palette

Search for a command to run...

Multi-Objective-Interpolation-Training zur Robustheit gegenüber Label-Rauschen

Diego Ortego Eric Arazo Paul Albert Noel E. O&#39 Connor Kevin McGuinness

Zusammenfassung

Tiefere neuronale Netze, die mit der herkömmlichen Kreuzentropieverlustfunktion trainiert werden, speichern verrauschte Etiketten, was ihre Leistung beeinträchtigt. Die meisten Forschungsarbeiten zur Minderung dieses Speicherungsverhaltens schlagen neue robuste Verlustfunktionen für die Klassifikation vor. Im Gegensatz dazu stellen wir einen Ansatz namens Multi-Objective Interpolation Training (MOIT) vor, der kontrastives Lernen und Klassifikation gemeinsam nutzt, um sich gegenseitig zu unterstützen und die Robustheit gegenüber Etikettierungsrauschen zu steigern. Wir zeigen, dass das herkömmliche überwachte kontrastive Lernen unter Etikettierungsrauschen abnimmt, und schlagen eine Interpolations-Trainingstrategie vor, um dieses Verhalten zu mildern. Weiterhin entwickeln wir eine neuartige Methode zur Erkennung von Etikettierungsrauschen, die die robusteren Merkmalsdarstellungen nutzt, die durch kontrastives Lernen erlernt wurden, um pro-Probe weiche Etiketten zu schätzen, deren Unstimmigkeiten mit den ursprünglichen Etiketten fehlerhafte Proben präzise identifizieren. Diese Erkennung ermöglicht es, verrauschte Proben als unbeschriftete Daten zu behandeln und einen Klassifikator semi-supervisiert zu trainieren, um die Speicherung von Rauschen zu verhindern und die Merkmalsdarstellung zu verbessern. Darüber hinaus schlagen wir MOIT+, eine Verfeinerung von MOIT durch Feinabstimmung auf detektierten sauberen Proben, vor. Hyperparameter- und Ablationstudien bestätigen die Schlüsselkomponenten unseres Ansatzes. Experimente auf synthetischen und realen Benchmark-Daten mit Etikettierungsrauschen zeigen, dass MOIT/MOIT+ Ergebnisse auf dem Stand der Technik erreicht. Der Quellcode ist unter https://git.io/JI40X verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Multi-Objective-Interpolation-Training zur Robustheit gegenüber Label-Rauschen | Paper | HyperAI