FlexMatch: Steigerung des halbüberwachten Lernens durch Curriculum-Pseudolabeling

Der kürzlich vorgeschlagene Ansatz FixMatch erreichte auf den meisten Benchmarks für semi-supervised Learning (SSL) state-of-the-art Ergebnisse. Allerdings verwendet FixMatch wie andere moderne SSL-Algorithmen einen vordefinierten konstanten Schwellwert für alle Klassen, um unlabeled Daten auszuwählen, die zur Trainingsphase beitragen. Dadurch wird nicht berücksichtigt, dass verschiedene Klassen unterschiedliche Lernstände und Schwierigkeitsgrade aufweisen. Um dieses Problem anzugehen, schlagen wir Curriculum Pseudo Labeling (CPL) vor – einen Ansatz des Curriculum Learning, der unlabeled Daten basierend auf dem aktuellen Lernstatus des Modells nutzt. Der Kern von CPL besteht darin, die Schwellwerte für verschiedene Klassen zu jeder Zeitstufe flexibel anzupassen, um informative unlabeled Daten und ihre Pseudolabels durchzulassen. CPL führt keine zusätzlichen Parameter oder Berechnungen (weder Vorwärts- noch Rückwärtspropagation) ein. Wir integrieren CPL in FixMatch und nennen unseren verbesserten Algorithmus FlexMatch. FlexMatch erreicht state-of-the-art Leistung auf einer Vielzahl von SSL-Benchmarks, wobei besonders starke Ergebnisse erzielt werden, wenn die Anzahl der gelabelten Daten äußerst gering ist oder die Aufgabe besonders herausfordernd ist. Beispielsweise erreicht FlexMatch auf den Datensätzen CIFAR-100 und STL-10 jeweils eine Fehlerreduktion um 13,96 % und 18,96 % gegenüber FixMatch, wenn nur jeweils 4 Labels pro Klasse verfügbar sind. CPL beschleunigt zudem signifikant die Konvergenzgeschwindigkeit: FlexMatch erreicht sogar bessere Leistung mit nur 1/5 der Trainingszeit von FixMatch. Darüber hinaus zeigen wir, dass CPL problemlos auf andere SSL-Algorithmen übertragen werden kann und deren Leistung erheblich verbessert. Wir stellen unseren Code öffentlich unter https://github.com/TorchSSL/TorchSSL zur Verfügung.