Wechsel von temporären Lehrkräften für semigedämpfte semantische Segmentierung

Der Teacher-Student-Framework, der in der halbüberwachten semantischen Segmentierung weit verbreitet ist, verwendet hauptsächlich die exponentielle gleitende Durchschnittsverfahren (EMA), um die Gewichte eines einzelnen Teacher-Modells basierend auf denen des Student-Modells zu aktualisieren. Allerdings führt die EMA-Update-Strategie zu einem Problem: Die Gewichte von Teacher und Student werden miteinander gekoppelt, was ein potenzielles Leistungs瓶颈 darstellt. Insbesondere verschärft sich dieses Problem bei der Verwendung komplexerer Etiketten, wie Segmentierungsmasken, insbesondere dann, wenn nur wenige annotierte Daten zur Verfügung stehen. In dieser Arbeit stellen wir Dual Teacher vor – einen einfachen, jedoch wirksamen Ansatz, der zwei temporäre Teacher einsetzt, um das Kopplungsproblem des Student-Modells zu verringern. Die temporären Teacher arbeiten in Schichten und werden sukzessiv verbessert, wodurch sichergestellt wird, dass Teacher und Student nicht zu stark aneinander heranrücken. Konkret übernehmen die temporären Teacher in regelmäßigen Abständen die Erzeugung von Pseudolabels zur Ausbildung des Student-Modells und bewahren dabei die charakteristischen Eigenschaften des Student-Modells über jeden Epoch hinweg. Dadurch erreicht Dual Teacher wettbewerbsfähige Ergebnisse auf den Benchmarks PASCAL VOC, Cityscapes und ADE20K, wobei die Trainingszeiten im Vergleich zu aktuellen State-of-the-Art-Methoden erheblich verkürzt sind. Darüber hinaus zeigen wir, dass unser Ansatz modellunabhängig ist und sowohl mit CNN-basierten als auch mit Transformer-basierten Modellen kompatibel ist. Der Quellcode ist unter https://github.com/naver-ai/dual-teacher verfügbar.