Revisiting Weak-to-Strong Consistency in Semi-Supervised Semantic Segmentation Überprüfung der Schwach-zu-Stark Konsistenz in der semi-supervisierten semantischen Segmentierung

In dieser Arbeit untersuchen wir das Framework der schwachen-zu-starken Konsistenz, das durch FixMatch im Bereich der semi-überwachten Klassifizierung populär wurde. Dabei dient die Vorhersage eines schwach gestörten Bildes als Supervision für dessen stark gestörte Version. Faszinierenderweise beobachten wir, dass diese einfache Pipeline bereits wettbewerbsfähige Ergebnisse gegen aktuelle fortschrittliche Arbeiten erzielt, wenn sie auf unseren Segmentierungsszenario übertragen wird. Ihr Erfolg hängt jedoch stark von der manuellen Gestaltung starker Datenverstärkungen ab, die möglicherweise begrenzt und unzureichend sind, um einen breiteren Störungsraum zu erforschen. Aus diesem Grund schlagen wir einen zusätzlichen Feature-Störungsstrom vor, der zu einem erweiterten Störungsraum führt. Andererseits, um die ursprünglichen Bild-Level-Verstärkungen ausreichend zu erkunden, präsentieren wir eine duale Störungstechnik, die es ermöglicht, zwei starke Ansichten gleichzeitig durch eine gemeinsame schwache Ansicht zu leiten. Folglich übertreffen unsere gesamte Unified Dual-Stream Perturbations-Methode (UniMatch) alle existierenden Verfahren erheblich bei allen Evaluationsprotokollen auf den Benchmarks Pascal, Cityscapes und COCO. Ihre Überlegenheit zeigt sich auch in der Fernerkundung und der medizinischen Bildanalyse. Wir hoffen, dass unsere reproduzierte FixMatch und unsere Ergebnisse zukünftige Arbeiten inspirieren können. Der Code und die Protokolle sind unter https://github.com/LiheYoung/UniMatch verfügbar.