Dual Student: Die Grenzen des Teachers in semi-supervised Learning zu überwinden

Kürzlich haben konsistenzbasierte Methoden state-of-the-art-Ergebnisse im halbüberwachten Lernen (Semi-Supervised Learning, SSL) erzielt. Diese Ansätze beinhalten grundsätzlich zwei Rollen: einen expliziten oder impliziten Lehrermodell und ein Schülermodell, wobei durch eine Konsistenzbedingung Vorhersagen unter verschiedenen Störungen bestraft werden. Allerdings sind die Gewichte dieser beiden Rollen eng gekoppelt, da der Lehrer im Wesentlichen ein exponentiell gleitender Durchschnitt (Exponential Moving Average, EMA) des Schülers ist. In dieser Arbeit zeigen wir, dass diese gekoppelte EMA-Teacher-Struktur eine Leistungsbeschränkung darstellt. Um dieses Problem zu lösen, führen wir Dual Student ein, bei dem der Lehrer durch einen zusätzlichen Schüler ersetzt wird. Zudem definieren wir ein neues Konzept, das sogenannte stabile Beispiel (stable sample), auf dessen Basis eine Stabilisierungsbedingung für unsere Architektur entworfen wird, um deren Trainierbarkeit zu gewährleisten. Darüber hinaus diskutieren wir zwei Varianten unseres Ansatzes, die noch höhere Leistungen erzielen. Umfangreiche Experimente zeigen, dass unsere Methode die Klassifizierungsleistung erheblich auf mehreren zentralen SSL-Benchmarks verbessert. Insbesondere senkt sie die Fehlerrate des 13-Schichten-CNN auf CIFAR-10 von 16,84 % auf 12,39 % bei 1.000 gelabelten Daten und auf CIFAR-100 von 34,10 % auf 31,56 % bei 10.000 gelabelten Daten. Zudem erzielt unsere Methode auch eine deutliche Verbesserung im Bereich der Domänenanpassung (Domain Adaptation).