HyperAIHyperAI

Command Palette

Search for a command to run...

Kooperierende Grundlagenmodelle für domainspezifische semantische Segmentierung

Yasser Benigmim Subhankar Roy Slim Essid Vicky Kalogeiton Stéphane Lathuilière

Zusammenfassung

Domain Generalized Semantic Segmentation (DGSS) befasst sich mit dem Training eines Modells anhand eines beschrifteten Quelldomains mit dem Ziel, generalisierbar auf unbekannte Domänen während der Inferenz zu sein. Bestehende DGSS-Methoden erreichen in der Regel robuste Merkmale mittels Domain Randomization (DR). Ein solcher Ansatz ist jedoch oft eingeschränkt, da er lediglich Stilvariationen berücksichtigen kann, nicht jedoch Inhalt. In dieser Arbeit verfolgen wir einen orthogonalen Ansatz für DGSS und schlagen die Verwendung einer Zusammenstellung von CoLlaborative FOUndation-Modellen für Domain Generalized Semantic Segmentation (CLOUDS) vor. Genauer handelt es sich bei CLOUDS um einen Rahmen, der verschiedene Arten von Fundamentalmodele integriert: (i) einen CLIP-Backbone zur robusten Merkmalsdarstellung, (ii) generative Modelle zur Diversifizierung des Inhalts, wodurch verschiedene Modi der möglichen Zielverteilung abgedeckt werden, und (iii) das Segment Anything Model (SAM) zur iterativen Verbesserung der Segmentierungsvorhersagen. Ausführliche Experimente zeigen, dass unser CLOUDS sich hervorragend für den Übergang von synthetischen zu realen DGSS-Benchmarks eignet und unter wechselnden Wetterbedingungen leistet, wobei es vorherige Methoden jeweils um 5,6 % und 6,7 % im durchschnittlichen miou übertrifft. Der Quellcode ist unter folgender URL verfügbar: https://github.com/yasserben/CLOUDS


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Kooperierende Grundlagenmodelle für domainspezifische semantische Segmentierung | Paper | HyperAI