FreeMatch: Selbstadaptives Schwellenwertverfahren für semigewöhnliche Lernverfahren

Semi-supervised Learning (SSL) hat aufgrund der beeindruckenden Leistungen verschiedener Methoden, die auf Pseudolabeling und Konsistenzregularisierung basieren, erheblichen Fortschritt erzielt. Wir argumentieren jedoch, dass bestehende Ansätze möglicherweise das unlabeled Data nicht effizient genug nutzen, da sie entweder einen vordefinierten/festen Schwellenwert oder eine ad-hoc-Schwellenwertanpassung verwenden, was zu unterdurchschnittlicher Leistung und langsamer Konvergenz führt. Zunächst analysieren wir ein motivierendes Beispiel, um Einsichten in die Beziehung zwischen dem gewünschten Schwellenwert und dem Lernstatus des Modells zu gewinnen. Auf Basis dieser Analyse schlagen wir FreeMatch vor, einen selbstadaptiven Ansatz zur Anpassung des Vertrauensschwellenwerts in Abhängigkeit vom Lernstatus des Modells einzuführen. Darüber hinaus führen wir eine selbstadaptive Regularisierungspenalty für Klassenfairness ein, um das Modell in der frühen Trainingsphase zu einer vielfältigen Vorhersage zu ermutigen. Umfangreiche Experimente belegen die Überlegenheit von FreeMatch, insbesondere dann, wenn die gelabelten Daten äußerst selten sind. FreeMatch erreicht auf CIFAR-10 mit jeweils 1 Label pro Klasse, auf STL-10 mit jeweils 4 Labels pro Klasse und auf ImageNet mit jeweils 100 Labels pro Klasse eine Reduktion des Fehlerrates um 5,78 %, 13,59 % und 1,28 % gegenüber der neuesten State-of-the-Art-Methode FlexMatch. Darüber hinaus kann FreeMatch auch die Leistung bei unbalanciertem SSL verbessern. Der Quellcode ist unter https://github.com/microsoft/Semi-supervised-learning verfügbar.