Kooperierende Grundlagenmodelle für domainspezifische semantische Segmentierung

Domain Generalized Semantic Segmentation (DGSS) befasst sich mit dem Training eines Modells anhand eines beschrifteten Quelldomains mit dem Ziel, generalisierbar auf unbekannte Domänen während der Inferenz zu sein. Bestehende DGSS-Methoden erreichen in der Regel robuste Merkmale mittels Domain Randomization (DR). Ein solcher Ansatz ist jedoch oft eingeschränkt, da er lediglich Stilvariationen berücksichtigen kann, nicht jedoch Inhalt. In dieser Arbeit verfolgen wir einen orthogonalen Ansatz für DGSS und schlagen die Verwendung einer Zusammenstellung von CoLlaborative FOUndation-Modellen für Domain Generalized Semantic Segmentation (CLOUDS) vor. Genauer handelt es sich bei CLOUDS um einen Rahmen, der verschiedene Arten von Fundamentalmodele integriert: (i) einen CLIP-Backbone zur robusten Merkmalsdarstellung, (ii) generative Modelle zur Diversifizierung des Inhalts, wodurch verschiedene Modi der möglichen Zielverteilung abgedeckt werden, und (iii) das Segment Anything Model (SAM) zur iterativen Verbesserung der Segmentierungsvorhersagen. Ausführliche Experimente zeigen, dass unser CLOUDS sich hervorragend für den Übergang von synthetischen zu realen DGSS-Benchmarks eignet und unter wechselnden Wetterbedingungen leistet, wobei es vorherige Methoden jeweils um 5,6 % und 6,7 % im durchschnittlichen miou übertrifft. Der Quellcode ist unter folgender URL verfügbar: https://github.com/yasserben/CLOUDS