HyperAIHyperAI

Command Palette

Search for a command to run...

Skalierung der mehrdomänenbasierten semantischen Segmentierung mit Satz-Embeddings

Wei Yin Yifan Liu Chunhua Shen Baichuan Sun Anton van den Hengel

Zusammenfassung

Wir stellen einen Ansatz für die semantische Segmentierung vor, der im zero-shot-Setting eine state-of-the-art-Leistung bei überwachtem Lernen erreicht. Dadurch erzielt er Ergebnisse, die denen der überwachten Methoden auf jedem der wichtigsten Datensätze für semantische Segmentierung entsprechen, ohne jemals auf diesen Datensätzen trainiert zu haben. Dies wird erreicht, indem jeder Klassenbezeichnung ein vektorwertiger Embedding eines kurzen Absatzes entspricht, der die Klasse beschreibt. Die Allgemeingültigkeit und Einfachheit dieses Ansatzes ermöglicht die Kombination mehrerer Datensätze aus unterschiedlichen Domänen, die jeweils unterschiedliche Klassenbezeichnungen und Semantiken aufweisen. Der resultierende zusammengeführte Datensatz für semantische Segmentierung mit über zwei Millionen Bildern erlaubt das Training eines Modells, das eine Leistung erreicht, die der von state-of-the-art-Methoden auf sieben Benchmark-Datensätzen entspricht, obwohl keine Bilder aus diesen Datensätzen verwendet wurden. Durch Feinabstimmung des Modells auf standardmäßigen Datensätzen für semantische Segmentierung erzielen wir zudem eine erhebliche Verbesserung gegenüber der bisher besten überwachten Segmentierung auf NYUD-V2 und PASCAL-Context mit 60 % beziehungsweise 65 % mIoU. Aufgrund der Nähe von Sprach-Embeddings kann unsere Methode sogar unbekannte Klassen segmentieren. Umfassende Experimente zeigen eine starke Generalisierung auf unbekannte Bilddomänen und unbekannte Klassen und belegen, dass der Ansatz beeindruckende Leistungsverbesserungen in nachgelagerten Anwendungen ermöglicht, darunter Tiefenschätzung und Instanzsegmentierung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Skalierung der mehrdomänenbasierten semantischen Segmentierung mit Satz-Embeddings | Paper | HyperAI