Universelle semi-supervisierte semantische Segmentierung

In den letzten Jahren ist die Notwendigkeit der semantischen Segmentierung in verschiedenen Anwendungen und Umgebungen entstanden. Allerdings begrenzen die Kosten und Redundanz der Annotation oft die Menge an für das Training in jedem Bereich verfügbaren Labels, während eine Bereitstellung einfacher ist, wenn ein einzelnes Modell gut über alle Bereiche hinweg funktioniert. In dieser Arbeit stellen wir das neuartige Problem der universellen semi-überwachten semantischen Segmentierung vor und schlagen einen Lösungsrahmen vor, um die doppelten Anforderungen nach geringeren Annotation- und Bereitstellungs kosten zu erfüllen. Im Gegensatz zu Ansätzen wie Feinabstimmung (fine tuning), gemeinsames Training (joint training) oder unüberwachte Domänenanpassung (unsupervised domain adaptation) gewährleistet die universelle semi-überwachte Segmentierung, dass in allen Bereichen: (i) ein einzelnes Modell bereitgestellt wird, (ii) unannotierte Daten verwendet werden, (iii) die Leistung verbessert wird, (iv) nur wenige Labels benötigt werden und (v) sich die Labelräume unterscheiden können. Um dies zu erreichen, minimieren wir sowohl überwachte als auch innerhalb und zwischen den Domänen unüberwachte Verlustfunktionen und führen ein neues Merkmalausrichtungsziel basierend auf pixelbasiertem Entropieregularisierung ein. Wir zeigen quantitative Vorteile gegenüber anderen Ansätzen anhand mehrerer Kombinationen von Segmentierungsdatensätzen aus verschiedenen Regionen (Deutschland, England, Indien) und Umgebungen (Außenbereich, Innenbereich) sowie qualitative Erkenntnisse zu den ausgerichteten Repräsentationen.