Diffusionsmerkmale zur Überbrückung der Domänenlücke für die semantische Segmentierung

Vortrainierte Diffusionsmodelle haben eine bemerkenswerte Fähigkeit zur Synthese von Bildern in einer Vielzahl von Szenarien unter Verwendung anpassbarer Prompts demonstriert, was auf ihre effektive Kapazität hinweist, universelle Merkmale zu erfassen. Ausgehend von dieser Beobachtung untersucht unsere Studie die Nutzung des impliziten Wissens, das in Diffusionsmodellen eingebettet ist, um Herausforderungen im Bereich der cross-domain semantischen Segmentierung zu bewältigen. In diesem Beitrag wird ein Ansatz untersucht, der Sampling- und Fusionsverfahren nutzt, um die Merkmale von Diffusionsmodellen effizient auszunutzen. Wir stellen DIffusion Feature Fusion (DIFF) als Backbone-Struktur vor, die darauf abzielt, durch den Diffusionsprozess wirksame semantische Repräsentationen zu extrahieren und zu integrieren. Unter Ausnutzung der Stärke der Text-zu-Bild-Generierungskapazität entwickeln wir einen neuen Trainingsrahmen, der darauf abzielt, implizites Posterior-Wissen aus diesem Prozess zu erlernen. Durch eine gründliche Evaluation im Kontext der Domänenverallgemeinerung bei semantischer Segmentierung zeigen wir, dass unsere Methode gegenüber vorherigen Ansätzen eine bessere Reduzierung von Diskrepanzen zwischen unterschiedlichen Domänen ermöglicht und die derzeit beste (SOTA) Leistung erreicht.