Finden Sie es, wenn Sie können: End-to-End adversarische Löschung für schwach beschriftete semantische Segmentierung

Semantische Segmentierung ist eine Aufgabe, die traditionell große Datensätze mit pixelgenauen Ground-Truth-Markierungen erfordert, die zeitaufwendig und kostspielig zu erheben sind. Neuere Fortschritte im schwach überwachten Lernansatz zeigen, dass durch die Verwendung lediglich bildlevel-Bezeichnungen eine akzeptable Leistung erzielt werden kann. Als Ersatzaufgabe wird häufig die Klassifikation verwendet, um ein tiefes neuronales Netzwerk zu trainieren, aus dem anschließend Aufmerksamkeitskarten extrahiert werden. Allerdings benötigt die Klassifikationsaufgabe lediglich die minimalen Hinweise zur Vorhersage, weshalb sie sich auf die diskriminativsten Objektregionen konzentriert. Um dieses Problem zu überwinden, schlagen wir eine neue Formulierung des adversarialen Löschen von Aufmerksamkeitskarten vor. Im Gegensatz zu früheren Ansätzen des adversarialen Löschen optimieren wir zwei Netzwerke mit gegensätzlichen Verlustfunktionen, wodurch die Notwendigkeit bestimmter suboptimaler Strategien entfällt – beispielsweise mehrere Trainingsphasen, die den Trainingsprozess komplizieren, oder eine Gewichtsteilung zwischen Netzwerken, die auf unterschiedlichen Verteilungen arbeiten und möglicherweise die Leistung beeinträchtigen. Unser vorgeschlagener Ansatz benötigt keine Saliency-Masken, sondern verwendet stattdessen eine Regularisierungsverlustfunktion, um zu verhindern, dass die Aufmerksamkeitskarten auf weniger diskriminative Objektregionen ausweiten. Unsere Experimente auf dem Pascal VOC-Datensatz zeigen, dass unsere adversarische Methode die Segmentierungsleistung im Vergleich zu unserer Baseline um 2,1 mIoU und im Vergleich zu früheren adversarialen Löschen-Ansätzen um 1,0 mIoU steigert.