Lernen mit instanzabhängiger Etikettierungsrauschen: Ein Ansatz basierend auf einem Stichproben-Sieb

Menschliche Annotationen sind oft mit Rauschen behaftet, und die Anwesenheit solchen Rauschens mindert die Leistungsfähigkeit der resultierenden tiefen neuronalen Netzwerke (DNN). Der Großteil der Literatur zum Lernen mit verrauschten Labels konzentriert sich auf den Fall, in dem das Label-Rauschen unabhängig von den Merkmalen ist. Praktisch sind Annotierungsfehler jedoch oft instanzabhängig und hängen häufig von der Schwierigkeitsstufe der Erkennung einer bestimmten Aufgabe ab. Die Anwendung bestehender Ergebnisse aus instanzunabhängigen Szenarien erfordert eine erhebliche Schätzung der Rauschraten. Daher bleibt die Bereitstellung theoretisch fundierter Lösungen für das Lernen unter instanzabhängigem Label-Rauschen weiterhin eine Herausforderung. In diesem Paper stellen wir CORES$^{2}$ (COnfidence REgularized Sample Sieve) vor, das korrupte Beispiele schrittweise aussiebt. Die Implementierung von CORES$^{2}$ erfordert keine Vorgabe von Rauschraten, dennoch können wir theoretische Garantien für die Effektivität von CORES$^{2}$ beim Aussieben korrupter Beispiele liefern. Dieser hochwertige Sample-Sieve ermöglicht es, saubere und korrupte Beispiele bei der Ausbildung eines DNN getrennt zu behandeln, wobei sich diese Trennung im Kontext instanzabhängigen Rauschens als vorteilhaft erweist. Wir demonstrieren die Leistungsfähigkeit von CORES$^{2}$ an den Datensätzen CIFAR10 und CIFAR100 mit synthetischem instanzabhängigem Label-Rauschen sowie am Datensatz Clothing1M mit realen menschlichen Fehlern. Als eigenständiges Interesse bietet unser Sample-Sieve eine generische Methode zur Analyse von verrauschten Datensätzen und stellt eine flexible Schnittstelle für verschiedene robuste Trainingsmethoden bereit, um die Leistung weiter zu verbessern. Der Quellcode ist unter https://github.com/UCSC-REAL/cores verfügbar.