HyperAIHyperAI

Command Palette

Search for a command to run...

Dual Student: Die Grenzen des Teachers in semi-supervised Learning zu überwinden

Zhanghan Ke Daoye Wang Qiong Yan Jimmy Ren Rynson W.H. Lau

Zusammenfassung

Kürzlich haben konsistenzbasierte Methoden state-of-the-art-Ergebnisse im halbüberwachten Lernen (Semi-Supervised Learning, SSL) erzielt. Diese Ansätze beinhalten grundsätzlich zwei Rollen: einen expliziten oder impliziten Lehrermodell und ein Schülermodell, wobei durch eine Konsistenzbedingung Vorhersagen unter verschiedenen Störungen bestraft werden. Allerdings sind die Gewichte dieser beiden Rollen eng gekoppelt, da der Lehrer im Wesentlichen ein exponentiell gleitender Durchschnitt (Exponential Moving Average, EMA) des Schülers ist. In dieser Arbeit zeigen wir, dass diese gekoppelte EMA-Teacher-Struktur eine Leistungsbeschränkung darstellt. Um dieses Problem zu lösen, führen wir Dual Student ein, bei dem der Lehrer durch einen zusätzlichen Schüler ersetzt wird. Zudem definieren wir ein neues Konzept, das sogenannte stabile Beispiel (stable sample), auf dessen Basis eine Stabilisierungsbedingung für unsere Architektur entworfen wird, um deren Trainierbarkeit zu gewährleisten. Darüber hinaus diskutieren wir zwei Varianten unseres Ansatzes, die noch höhere Leistungen erzielen. Umfangreiche Experimente zeigen, dass unsere Methode die Klassifizierungsleistung erheblich auf mehreren zentralen SSL-Benchmarks verbessert. Insbesondere senkt sie die Fehlerrate des 13-Schichten-CNN auf CIFAR-10 von 16,84 % auf 12,39 % bei 1.000 gelabelten Daten und auf CIFAR-100 von 34,10 % auf 31,56 % bei 10.000 gelabelten Daten. Zudem erzielt unsere Methode auch eine deutliche Verbesserung im Bereich der Domänenanpassung (Domain Adaptation).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp