Multi-Objective-Interpolation-Training zur Robustheit gegenüber Label-Rauschen

Tiefere neuronale Netze, die mit der herkömmlichen Kreuzentropieverlustfunktion trainiert werden, speichern verrauschte Etiketten, was ihre Leistung beeinträchtigt. Die meisten Forschungsarbeiten zur Minderung dieses Speicherungsverhaltens schlagen neue robuste Verlustfunktionen für die Klassifikation vor. Im Gegensatz dazu stellen wir einen Ansatz namens Multi-Objective Interpolation Training (MOIT) vor, der kontrastives Lernen und Klassifikation gemeinsam nutzt, um sich gegenseitig zu unterstützen und die Robustheit gegenüber Etikettierungsrauschen zu steigern. Wir zeigen, dass das herkömmliche überwachte kontrastive Lernen unter Etikettierungsrauschen abnimmt, und schlagen eine Interpolations-Trainingstrategie vor, um dieses Verhalten zu mildern. Weiterhin entwickeln wir eine neuartige Methode zur Erkennung von Etikettierungsrauschen, die die robusteren Merkmalsdarstellungen nutzt, die durch kontrastives Lernen erlernt wurden, um pro-Probe weiche Etiketten zu schätzen, deren Unstimmigkeiten mit den ursprünglichen Etiketten fehlerhafte Proben präzise identifizieren. Diese Erkennung ermöglicht es, verrauschte Proben als unbeschriftete Daten zu behandeln und einen Klassifikator semi-supervisiert zu trainieren, um die Speicherung von Rauschen zu verhindern und die Merkmalsdarstellung zu verbessern. Darüber hinaus schlagen wir MOIT+, eine Verfeinerung von MOIT durch Feinabstimmung auf detektierten sauberen Proben, vor. Hyperparameter- und Ablationstudien bestätigen die Schlüsselkomponenten unseres Ansatzes. Experimente auf synthetischen und realen Benchmark-Daten mit Etikettierungsrauschen zeigen, dass MOIT/MOIT+ Ergebnisse auf dem Stand der Technik erreicht. Der Quellcode ist unter https://git.io/JI40X verfügbar.