Command Palette
Search for a command to run...
Zur Verteidigung des Pseudo-Labelings: Ein Rahmenwerk zur Auswahl von Pseudo-Labels unter Berücksichtigung der Unsicherheit für das semi-supervisierte Lernen
Zur Verteidigung des Pseudo-Labelings: Ein Rahmenwerk zur Auswahl von Pseudo-Labels unter Berücksichtigung der Unsicherheit für das semi-supervisierte Lernen
Mamshad Nayeem Rizve Kevin Duarte Yogesh S Rawat Mubarak Shah
Zusammenfassung
Die jüngsten Forschungen im Bereich des semiaufvisierten Lernens (Semi-Supervised Learning, SSL) werden hauptsächlich von Methoden dominiert, die auf Konsistenzregularisierung basieren und starke Leistungen erzielen. Diese Methoden hängen jedoch stark von domänenspezifischen Datenverstärkungen ab, die für alle Datentypen nicht leicht zu generieren sind. Pseudo-Labelling (PL) ist ein allgemeiner Ansatz im SSL, der diese Einschränkung nicht hat, aber in seiner ursprünglichen Form relativ schlecht abschneidet. Wir argumentieren, dass PL aufgrund fehlerhafter Hochvertrauensvorhersagen von schlecht kalibrierten Modellen unterperformt; diese Vorhersagen führen zu vielen falschen Pseudo-Labels und somit zu einem rauschigen Trainingsprozess. Wir schlagen einen Rahmen vor, der unsicherheitsbewusstes Pseudo-Label-Auswählen (Uncertainty-Aware Pseudo-Label Selection, UPS) ermöglicht und dadurch die Genauigkeit des Pseudo-Labellings durch eine drastische Reduzierung des Rauschs im Trainingsprozess verbessert. Darüber hinaus verallgemeinert UPS den Prozess des Pseudo-Labellings und ermöglicht es, negative Pseudo-Labels zu erstellen; diese negativen Pseudo-Labels können sowohl für die multilabel-Klassifikation als auch für das negative Lernen zur Verbesserung der single-label-Klassifikation verwendet werden. Bei Vergleich mit aktuellen SSL-Methoden erzielen wir starke Leistungen auf den Datensätzen CIFAR-10 und CIFAR-100. Zudem zeigen wir die Vielseitigkeit unserer Methode am Videodatensatz UCF-101 sowie am multilabel-Datensatz Pascal VOC.