Dash: Semi-supervised Learning mit dynamischer Schwellenwertbildung

Obwohl das semi-supervised Learning (SSL) aufgrund seiner erfolgreichen Nutzung unbeschrifteter Daten in zahlreichen maschinellen Lernaufgaben erhebliche Aufmerksamkeit erlangt hat, nutzen bestehende SSL-Algorithmen entweder alle unbeschrifteten Beispiele oder lediglich diejenigen mit einer festgelegten hochverlässlichen Vorhersage während des Trainingsprozesses. Es ist jedoch möglich, dass zu viele korrekte oder falsche Pseudolabels ausgeschlossen oder ausgewählt werden. In dieser Arbeit entwickeln wir einen einfachen, aber leistungsfähigen Rahmen, dessen zentrale Idee darin besteht, bei der Anwendung bestehender SSL-Methoden eine Teilmenge von Trainingsbeispielen aus den unbeschrifteten Daten auszuwählen, sodass nur die unbeschrifteten Beispiele mit Pseudolabels verwendet werden, die in Bezug auf die beschrifteten Daten stehen. Diese Auswahl erfolgt in jeder Aktualisierungsschleife, indem lediglich die Beispiele beibehalten werden, deren Verluste unter einer vorgegebenen Schwelle liegen, die dynamisch im Laufe der Iterationen angepasst wird. Unser vorgeschlagenes Verfahren, Dash, zeichnet sich durch seine Anpassungsfähigkeit bei der Auswahl unbeschrifteter Daten sowie durch eine theoretische Garantie aus. Insbesondere leiten wir aus der Perspektive der nicht-konvexen Optimierung die Konvergenzrate von Dash her. Schließlich zeigen wir empirisch die Wirksamkeit des vorgeschlagenen Ansatzes im Vergleich zu aktuellen State-of-the-Art-Methoden anhand verschiedener Benchmarks.