Revisiting and Maximizing Temporal Knowledge in Semi-supervised Semantic Segmentation Wiederbesprechung und Maximierung zeitlicher Kenntnisse in der semi-überwachten semantischen Segmentierung

Im Bereich der semiautonomen semantischen Segmentierung werden Ansätze auf Basis des Mean Teacher und Co-Trainings eingesetzt, um Bestätigungsverzerrungen und Kopplungsprobleme zu reduzieren. Trotz ihrer hohen Leistungsfähigkeit sind diese Methoden oft mit komplexen Trainingspipelines und einem erheblichen Rechenaufwand verbunden, was die Skalierbarkeit und Kompatibilität dieser Verfahren einschränkt. In dieser Arbeit schlagen wir den PrevMatch-Framework vor, das durch die Maximierung der Nutzung des während des Trainings erworbenen zeitlichen Wissens die genannten Einschränkungen effektiv verringert. Das PrevMatch-Framework basiert auf zwei zentralen Strategien: (1) Wir überdenken die Nutzung des zeitlichen Wissens und nutzen daher direkt frühere während des Trainings erzielte Modelle, um zusätzliche Pseudo-Label-Leitlinien zu generieren, die als vorherige Leitung bezeichnet werden. (2) Wir entwickeln eine hoch randomisierte Ensemblestrategie, um die Effektivität der vorherigen Leitung zu maximieren. Experimentelle Ergebnisse auf vier Benchmark-Datensätzen für semantische Segmentierung bestätigen, dass das vorgeschlagene Verfahren konsistent bessere Ergebnisse als existierende Methoden bei verschiedenen Evaluationsprotokollen erzielt. Insbesondere übertreffen PrevMatch bei den Netzwerkeinstellungen DeepLabV3+ und ResNet-101 die bisher beste Methode, Diverse Co-Training, um +1.6 mIoU auf Pascal VOC mit nur 92 annotierten Bildern, wobei das Training 2.4-mal schneller ist. Darüber hinaus deuten die Ergebnisse darauf hin, dass PrevMatch eine stabile Optimierung induziert, insbesondere Klassen mit schlechter Leistung profitieren davon. Der Quellcode ist unter https://github.com/wooseok-shin/PrevMatch verfügbar.