SSR: Ein effizienter und robuster Rahmenwerk für das Lernen bei unbekannter Label-Rauschigkeit

Trotz der erheblichen Fortschritte im überwachten Lernen mit neuronalen Netzen bestehen erhebliche Herausforderungen bei der Erzeugung hochwertiger, großskaliger und präzise beschrifteter Datensätze. In diesem Kontext gewinnt das Lernen bei verrauschten Beschriftungen zunehmend an Aufmerksamkeit. Als vergleichsweise komplexes Problem erzielen aktuelle Ansätze zur Erzielung guter Ergebnisse häufig die Integration von Komponenten aus mehreren Gebieten, wie z. B. überwachtem Lernen, halbüberwachtem Lernen, Transferlernen, was zu komplexen Methoden führt. Darüber hinaus treffen sie oft mehrere Annahmen über die Art des Rauschens in den Daten. Dies beeinträchtigt die Robustheit des Modells und begrenzt dessen Leistungsfähigkeit unter unterschiedlichen Rauschbedingungen. In diesem Artikel betrachten wir eine neuartige Problemstellung, Learning with Unknown Label Noise (LULN), also das Lernen, wenn sowohl das Ausmaß als auch die Art des Rauschens unbekannt sind. Unter dieser Voraussetzung schlagen wir einen einfachen, effizienten und robusten Ansatz namens Sample Selection and Relabelling (SSR) vor, der mit einer minimalen Anzahl an Hyperparametern in verschiedenen Bedingungen SOTA-Ergebnisse erzielt. Im Kern unseres Ansatzes steht ein Mechanismus zur Probenauswahl und Neubeschriftung, der auf einem nichtparametrischen KNN-Klassifikator (NPK) $g_q$ und einem parametrischen Modell-Klassifikator (PMC) $g_p$ basiert, um saubere Proben auszuwählen und die verrauschten Proben schrittweise neu zu beschriften. Ohne aufwendige Zusatzmechanismen wie Modell-Co-Training, selbstüberwachtes Vortraining oder halbüberwachtes Lernen und mit robuster Leistung gegenüber den wenigen Hyperparametereinstellungen, übertrifft unsere Methode bestehende Ansätze erheblich sowohl auf CIFAR10/CIFAR100 mit synthetischem Rauschen als auch auf realen, verrauschten Datensätzen wie WebVision, Clothing1M und ANIMAL-10N. Der Quellcode ist unter https://github.com/MrChenFeng/SSR_BMVC2022 verfügbar.