PSSCL: Ein progressiver Ansatz zur Stichprobenauswahl mit kontrastiver Verlustfunktion für fehlerhafte Labels
{Qiu Chen Filipe R. Cordeiro Yi Zhu Qian Zhang}
Abstract
Große Bild-Datensätze enthalten häufig unvermeidbare Rauschlabels, was zu Überanpassung bei tiefen neuronalen Netzen und einer Leistungsabnahme führt. Die meisten bestehenden Ansätze zum Lernen mit Rauschlabels operieren als einstufige Frameworks, bei denen die Aufteilung der Trainingsdaten und das halbüberwachte Lernen (SSL) eng miteinander verflochten sind und gemeinsam optimiert werden. Daher wird ihre Effektivität erheblich von der Genauigkeit der getrennten sauberen Datensätze, vorhergehenden Kenntnissen über das Rauschen sowie der Robustheit des SSL abhängig. In diesem Artikel präsentieren wir einen fortschreitenden Ansatz zur Stichprobenauswahl mit kontrastiver Verlustfunktion für Rauschlabels, namens PSSCL. Dieses Framework arbeitet in zwei Stufen und nutzt robuste sowie kontrastive Verlustfunktionen, um die Robustheit des Modells zu erhöhen. In Stufe I wird mittels einer langfristigen Vertrauensdetektionsstrategie ein kleiner sauberer Datensatz identifiziert, während Stufe II darauf abzielt, die Leistung durch Erweiterung dieses sauberen Datensatzes zu verbessern. PSSCL zeigt gegenüber aktuellen state-of-the-art-Methoden signifikante Leistungssteigerungen auf verschiedenen Benchmarks. Der Quellcode ist unter https://github.com/LanXiaoPang613/PSSCL verfügbar.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| image-classification-on-mini-webvision-1-0 | PSSCL (130 epochs) | ImageNet Top-1 Accuracy: 79.68 ImageNet Top-5 Accuracy: 95.16 Top-1 Accuracy: 79.56 Top-5 Accuracy: 94.84 |
| image-classification-on-mini-webvision-1-0 | PSSCL (120 epochs) | ImageNet Top-1 Accuracy: 79.40 ImageNet Top-5 Accuracy: 94.84 Top-1 Accuracy: 78.52 Top-5 Accuracy: 93.80 |
| learning-with-noisy-labels-on-animal | PSSCL | Accuracy: 88.74 ImageNet Pretrained: NO Network: Vgg19-BN |
| learning-with-noisy-labels-on-cifar-100n | PSSCL | Accuracy (mean): 72.00 |
| learning-with-noisy-labels-on-cifar-10n | PSSCL | Accuracy (mean): 96.41 |
| learning-with-noisy-labels-on-cifar-10n-1 | PSSCL | Accuracy (mean): 96.17 |
| learning-with-noisy-labels-on-cifar-10n-2 | PSSCL | Accuracy (mean): 96.21 |
| learning-with-noisy-labels-on-cifar-10n-3 | PSSCL | Accuracy (mean): 96.49 |
| learning-with-noisy-labels-on-cifar-10n-worst | PSSCL | Accuracy (mean): 95.12 |
| learning-with-noisy-labels-on-food-101 | PSSCL | Accuracy (% ): 86.41 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.