Semisupervierte semantische Segmentierung mittels adaptiver Ausgleichungslernens

Aufgrund der begrenzten und sogar ungleichmäßigen Daten leidet die halbüberwachte semantische Segmentierung oft unter schlechter Leistung bei bestimmten Kategorien, beispielsweise bei den „tail“-Kategorien im Cityscapes-Datensatz, der eine langgezogene (long-tailed) Label-Verteilung aufweist. Bestehende Ansätze ignorieren dieses Problem nahezu ausnahmslos und behandeln alle Kategorien gleich. Beliebte Methoden wie Konsistenzregularisierung oder Pseudolabeling können sogar die Lernleistung unterperformender Kategorien verschlechtern, da deren Vorhersagen oder Pseudolabels oft zu ungenau sind, um eine wirksame Orientierung beim Lernen auf unbeschrifteten Daten zu bieten. In diesem Artikel untersuchen wir dieses Problem und stellen einen neuen Ansatz für die halbüberwachte semantische Segmentierung vor, namens Adaptive Equalization Learning (AEL). AEL balanciert adaptiv das Training gut und schlecht performender Kategorien mithilfe einer Vertrauensbank, die während des Trainings dynamisch die kategorienbezogene Leistung verfolgt. Die Vertrauensbank dient als Indikator, um das Training gezielt auf unterperformende Kategorien auszurichten, und wird in drei Strategien implementiert: 1) adaptive Copy-Paste- und CutMix-Datenaugmentierungsansätze, die unterperformenden Kategorien eine höhere Wahrscheinlichkeit geben, kopiert oder geschnitten zu werden; 2) ein adaptiver Datensampling-Ansatz, der die Auswahl von Pixeln aus unterperformenden Kategorien fördert; 3) eine einfache, jedoch effektive Re-Weighting-Methode zur Verringerung des durch Pseudolabeling verursachten Trainingsrauschens. Experimentell übertrifft AEL die bisherigen State-of-the-Art-Methoden auf den Benchmarks Cityscapes und Pascal VOC bei verschiedenen Datensplits deutlich. Der Quellcode ist unter https://github.com/hzhupku/SemiSeg-AEL verfügbar.