Wechsel von temporären Lehrkräften für semigedämpfte semantische Segmentierung

Abstract
Der Teacher-Student-Framework, der in der halbüberwachten semantischen Segmentierung weit verbreitet ist, verwendet hauptsächlich die exponentielle gleitende Durchschnittsverfahren (EMA), um die Gewichte eines einzelnen Teacher-Modells basierend auf denen des Student-Modells zu aktualisieren. Allerdings führt die EMA-Update-Strategie zu einem Problem: Die Gewichte von Teacher und Student werden miteinander gekoppelt, was ein potenzielles Leistungs瓶颈 darstellt. Insbesondere verschärft sich dieses Problem bei der Verwendung komplexerer Etiketten, wie Segmentierungsmasken, insbesondere dann, wenn nur wenige annotierte Daten zur Verfügung stehen. In dieser Arbeit stellen wir Dual Teacher vor – einen einfachen, jedoch wirksamen Ansatz, der zwei temporäre Teacher einsetzt, um das Kopplungsproblem des Student-Modells zu verringern. Die temporären Teacher arbeiten in Schichten und werden sukzessiv verbessert, wodurch sichergestellt wird, dass Teacher und Student nicht zu stark aneinander heranrücken. Konkret übernehmen die temporären Teacher in regelmäßigen Abständen die Erzeugung von Pseudolabels zur Ausbildung des Student-Modells und bewahren dabei die charakteristischen Eigenschaften des Student-Modells über jeden Epoch hinweg. Dadurch erreicht Dual Teacher wettbewerbsfähige Ergebnisse auf den Benchmarks PASCAL VOC, Cityscapes und ADE20K, wobei die Trainingszeiten im Vergleich zu aktuellen State-of-the-Art-Methoden erheblich verkürzt sind. Darüber hinaus zeigen wir, dass unser Ansatz modellunabhängig ist und sowohl mit CNN-basierten als auch mit Transformer-basierten Modellen kompatibel ist. Der Quellcode ist unter https://github.com/naver-ai/dual-teacher verfügbar.
Code-Repositories
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| semi-supervised-semantic-segmentation-on-1 | Dual Teacher (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K) | Validation mIoU: 79.46 |
| semi-supervised-semantic-segmentation-on-2 | Dual Teacher | Validation mIoU: 78.4 |
| semi-supervised-semantic-segmentation-on-21 | Dual Teacher | Validation mIoU: 78.82 |
| semi-supervised-semantic-segmentation-on-22 | Dual Teacher (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K) | Validation mIoU: 76.81 |
| semi-supervised-semantic-segmentation-on-4 | Dual Teacher | Validation mIoU: 81.19 |
| semi-supervised-semantic-segmentation-on-8 | Dual Teacher | Validation mIoU: 80.52 |
| semi-supervised-semantic-segmentation-on-9 | Dual Teacher | Validation mIoU: 81.03 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.