HyperAIHyperAI

Command Palette

Search for a command to run...

FlexMatch: Steigerung des halbüberwachten Lernens durch Curriculum-Pseudolabeling

Bowen Zhang Yidong Wang Wenxin Hou Hao Wu Jindong Wang Manabu Okumura Takahiro Shinozaki

Zusammenfassung

Der kürzlich vorgeschlagene Ansatz FixMatch erreichte auf den meisten Benchmarks für semi-supervised Learning (SSL) state-of-the-art Ergebnisse. Allerdings verwendet FixMatch wie andere moderne SSL-Algorithmen einen vordefinierten konstanten Schwellwert für alle Klassen, um unlabeled Daten auszuwählen, die zur Trainingsphase beitragen. Dadurch wird nicht berücksichtigt, dass verschiedene Klassen unterschiedliche Lernstände und Schwierigkeitsgrade aufweisen. Um dieses Problem anzugehen, schlagen wir Curriculum Pseudo Labeling (CPL) vor – einen Ansatz des Curriculum Learning, der unlabeled Daten basierend auf dem aktuellen Lernstatus des Modells nutzt. Der Kern von CPL besteht darin, die Schwellwerte für verschiedene Klassen zu jeder Zeitstufe flexibel anzupassen, um informative unlabeled Daten und ihre Pseudolabels durchzulassen. CPL führt keine zusätzlichen Parameter oder Berechnungen (weder Vorwärts- noch Rückwärtspropagation) ein. Wir integrieren CPL in FixMatch und nennen unseren verbesserten Algorithmus FlexMatch. FlexMatch erreicht state-of-the-art Leistung auf einer Vielzahl von SSL-Benchmarks, wobei besonders starke Ergebnisse erzielt werden, wenn die Anzahl der gelabelten Daten äußerst gering ist oder die Aufgabe besonders herausfordernd ist. Beispielsweise erreicht FlexMatch auf den Datensätzen CIFAR-100 und STL-10 jeweils eine Fehlerreduktion um 13,96 % und 18,96 % gegenüber FixMatch, wenn nur jeweils 4 Labels pro Klasse verfügbar sind. CPL beschleunigt zudem signifikant die Konvergenzgeschwindigkeit: FlexMatch erreicht sogar bessere Leistung mit nur 1/5 der Trainingszeit von FixMatch. Darüber hinaus zeigen wir, dass CPL problemlos auf andere SSL-Algorithmen übertragen werden kann und deren Leistung erheblich verbessert. Wir stellen unseren Code öffentlich unter https://github.com/TorchSSL/TorchSSL zur Verfügung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp