Skalierung der mehrdomänenbasierten semantischen Segmentierung mit Satz-Embeddings

Wir stellen einen Ansatz für die semantische Segmentierung vor, der im zero-shot-Setting eine state-of-the-art-Leistung bei überwachtem Lernen erreicht. Dadurch erzielt er Ergebnisse, die denen der überwachten Methoden auf jedem der wichtigsten Datensätze für semantische Segmentierung entsprechen, ohne jemals auf diesen Datensätzen trainiert zu haben. Dies wird erreicht, indem jeder Klassenbezeichnung ein vektorwertiger Embedding eines kurzen Absatzes entspricht, der die Klasse beschreibt. Die Allgemeingültigkeit und Einfachheit dieses Ansatzes ermöglicht die Kombination mehrerer Datensätze aus unterschiedlichen Domänen, die jeweils unterschiedliche Klassenbezeichnungen und Semantiken aufweisen. Der resultierende zusammengeführte Datensatz für semantische Segmentierung mit über zwei Millionen Bildern erlaubt das Training eines Modells, das eine Leistung erreicht, die der von state-of-the-art-Methoden auf sieben Benchmark-Datensätzen entspricht, obwohl keine Bilder aus diesen Datensätzen verwendet wurden. Durch Feinabstimmung des Modells auf standardmäßigen Datensätzen für semantische Segmentierung erzielen wir zudem eine erhebliche Verbesserung gegenüber der bisher besten überwachten Segmentierung auf NYUD-V2 und PASCAL-Context mit 60 % beziehungsweise 65 % mIoU. Aufgrund der Nähe von Sprach-Embeddings kann unsere Methode sogar unbekannte Klassen segmentieren. Umfassende Experimente zeigen eine starke Generalisierung auf unbekannte Bilddomänen und unbekannte Klassen und belegen, dass der Ansatz beeindruckende Leistungsverbesserungen in nachgelagerten Anwendungen ermöglicht, darunter Tiefenschätzung und Instanzsegmentierung.