DMT: Dynamisches wechselseitiges Training für semi-supervised Learning

Neuere semi-supervised Lernmethoden basieren auf dem zentralen Konzept der Pseudobeschriftung, insbesondere auf Selbsttrainingsmethoden, die Pseudolabels generieren. Allerdings sind Pseudolabels unzuverlässig. Selbsttrainingsmethoden stützen sich üblicherweise auf die Vorhersagekonfidenz eines einzelnen Modells, um Pseudolabels mit geringer Konfidenz zu filtern, wodurch jedoch hochkonfidente Fehler bestehen bleiben und viele korrekte, aber niedrigkonfidente Label verschwendet werden. In diesem Artikel zeigen wir, dass es für ein Modell schwierig ist, seine eigenen Fehler zu erkennen und zu korrigieren. Stattdessen ist die Ausnutzung der Inter-Modell-Unstimmigkeit zwischen verschiedenen Modellen entscheidend, um Fehler in Pseudolabels zu identifizieren. Auf Basis dieses neuen Ansatzes schlagen wir einen dynamisch gewichteten Verlustfunktion für ein gegenseitiges Training zweier unterschiedlicher Modelle vor, genannt Dynamic Mutual Training (DMT). Wir quantifizieren die Inter-Modell-Unstimmigkeit, indem wir die Vorhersagen zweier verschiedener Modelle vergleichen, um den Verlust dynamisch zu gewichten: Eine größere Unstimmigkeit deutet auf einen möglichen Fehler hin und führt zu einem niedrigeren Verlustwert. Umfangreiche Experimente zeigen, dass DMT sowohl bei der Bildklassifikation als auch bei der semantischen Segmentierung eine state-of-the-art Leistung erzielt. Unser Quellcode ist unter https://github.com/voldemortX/DST-CBC verfügbar.