Gemeinsame Kalibrierung für die semantische Segmentierung

Die semantische Segmentierung ist die Aufgabe, jedem Pixel in einem Bild eine Klassenbezeichnung zuzuweisen. Wir schlagen einen regionenbasierten Rahmen für die semantische Segmentierung vor, der sowohl vollständige als auch schwache Überwachung behandelt und drei häufige Probleme anspricht: (1) Objekte treten in verschiedenen Maßstäben auf, daher sollten wir Regionen in verschiedenen Maßstäben verwenden. Allerdings überlappen sich diese Regionen, was zu konfliktären Klassenvorhersagen auf Pixelbasis führt. (2) Die Klassenhäufigkeiten sind in realistischen Datensätzen stark unbalanciert. (3) Jedes Pixel kann nur einer einzigen Klasse zugeordnet werden, was zu Wettbewerb zwischen den Klassen führt. Wir lösen alle drei Probleme mit einer gemeinsamen Kalibrierungsmethode, die einen Mehrklassenverlust optimiert, der über die endgültige Pixel-Level-Ausgabe-Labeling definiert ist, anstatt einfach nur die Regionenklassifikation. Unsere Methode übertreffen den aktuellen Stand der Technik im populären SIFT Flow-Datensatz [18] sowohl im vollständig als auch im schwach überwachten Szenario um ein erhebliches Maß (+6 % und +10 % respektive).