Semantische Segmentierung über Domänen hinweg bei inkonsistenter Taxonomie unter Verwendung von VLMs

Die Herausforderung der semantischen Segmentierung im unsupervised Domain Adaptation (UDA) ergibt sich nicht nur aus Domänenverschiebungen zwischen Quell- und Zielbildern, sondern auch aus Diskrepanzen in den Klassentaxonomien zwischen den Domänen. Traditionelle UDA-Forschung geht von einer konsistenten Taxonomie zwischen Quell- und Zieldomäne aus, was ihre Fähigkeit einschränkt, die Taxonomie der Zieldomäne zu erkennen und anzupassen. In diesem Beitrag wird ein neuartiger Ansatz vorgestellt, Cross-Domain Semantic Segmentation on Inconsistent Taxonomy using Vision Language Models (CSI), der effektiv eine domänenadaptierte semantische Segmentierung auch bei Klassenmismatch zwischen Quelle und Ziel ermöglicht. CSI nutzt das semantische Generalisierungspotenzial von Vision-Language-Modellen (VLMs), um Synergie mit etablierten UDA-Methoden zu erzeugen. Dabei kombiniert es die durch traditionelle UDA-Methoden ermittelten Segmentierungsreasonings mit dem reichen semantischen Wissen, das in VLMs eingebettet ist, um neue Klassen in der Zieldomäne neu zu beschriften. Dieser Ansatz ermöglicht eine effektive Anpassung an erweiterte Taxonomien, ohne dass für die Zieldomäne irgendwelche Ground-Truth-Labels erforderlich sind. Unser Verfahren zeigt sich in verschiedenen Benchmarks unter Bedingungen inkonsistenter Taxonomien (von grob nach fein und offene Taxonomie) wirksam und erzielt bei der Integration mit vorherigen State-of-the-Art-UDA-Methoden konsistente Synergieeffekte. Die Implementierung ist unter http://github.com/jkee58/CSI verfügbar.