HyperAIHyperAI

Command Palette

Search for a command to run...

Semantische Segmentierung über Domänen hinweg bei inkonsistenter Taxonomie unter Verwendung von VLMs

Jeongkee Lim Yusung Kim

Zusammenfassung

Die Herausforderung der semantischen Segmentierung im unsupervised Domain Adaptation (UDA) ergibt sich nicht nur aus Domänenverschiebungen zwischen Quell- und Zielbildern, sondern auch aus Diskrepanzen in den Klassentaxonomien zwischen den Domänen. Traditionelle UDA-Forschung geht von einer konsistenten Taxonomie zwischen Quell- und Zieldomäne aus, was ihre Fähigkeit einschränkt, die Taxonomie der Zieldomäne zu erkennen und anzupassen. In diesem Beitrag wird ein neuartiger Ansatz vorgestellt, Cross-Domain Semantic Segmentation on Inconsistent Taxonomy using Vision Language Models (CSI), der effektiv eine domänenadaptierte semantische Segmentierung auch bei Klassenmismatch zwischen Quelle und Ziel ermöglicht. CSI nutzt das semantische Generalisierungspotenzial von Vision-Language-Modellen (VLMs), um Synergie mit etablierten UDA-Methoden zu erzeugen. Dabei kombiniert es die durch traditionelle UDA-Methoden ermittelten Segmentierungsreasonings mit dem reichen semantischen Wissen, das in VLMs eingebettet ist, um neue Klassen in der Zieldomäne neu zu beschriften. Dieser Ansatz ermöglicht eine effektive Anpassung an erweiterte Taxonomien, ohne dass für die Zieldomäne irgendwelche Ground-Truth-Labels erforderlich sind. Unser Verfahren zeigt sich in verschiedenen Benchmarks unter Bedingungen inkonsistenter Taxonomien (von grob nach fein und offene Taxonomie) wirksam und erzielt bei der Integration mit vorherigen State-of-the-Art-UDA-Methoden konsistente Synergieeffekte. Die Implementierung ist unter http://github.com/jkee58/CSI verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Semantische Segmentierung über Domänen hinweg bei inkonsistenter Taxonomie unter Verwendung von VLMs | Paper | HyperAI