Generalisierung durch Adaptation: diffusionbasierte Domänenverlängerung für domänenverallgemeinerte semantische Segmentierung

Wenn Modelle, beispielsweise für die semantische Segmentierung, auf Bilder angewendet werden, die stark von den Trainingsdaten abweichen, sinkt ihre Leistung erheblich. Domain-Adaptations-Verfahren versuchen, dieses Problem zu überwinden, erfordern jedoch jedoch Stichproben aus der Ziel-Domäne. Dies ist jedoch aus verschiedenen Gründen nicht immer möglich, weshalb Domain-Generalisierungs-Methoden nützlich sind, da sie keine echten Ziel-Daten benötigen. Wir präsentieren eine neue, auf Diffusionsmodellen basierende Methode zur Domänen-Erweiterung (DIDEX), die ein Diffusionsmodell nutzt, um eine Pseudo-Ziel-Domäne mit großer Vielfalt an Text-Prompts zu generieren. Im Gegensatz zu bestehenden Ansätzen ermöglicht dies eine gezielte Steuerung von Stil und Inhalt der generierten Bilder sowie eine hohe Diversität. In einem zweiten Schritt trainieren wir ein generalisierendes Modell durch Anpassung an diese Pseudo-Ziel-Domäne. Wir überbieten bestehende Ansätze bei verschiedenen Datensätzen und Architekturen deutlich, ohne echte Daten zu verwenden. Für die Generalisierung von GTA5 verbessern wir die state-of-the-art mIoU-Leistung im Durchschnitt um 3,8 Prozentpunkte und für SYNTHIA um 11,8 Prozentpunkte – ein bedeutender Fortschritt für die Generalisierungsleistung auf diesen Benchmarks. Der Quellcode ist unter https://github.com/JNiemeijer/DIDEX verfügbar.