HyperAIHyperAI

Command Palette

Search for a command to run...

Style-Halluzinierte duale Konsistenzlernverfahren für domainspezifische semantische Segmentierung

Yuyang Zhao Zhun Zhong Na Zhao Nicu Sebe Gim Hee Lee

Zusammenfassung

In diesem Paper untersuchen wir die Aufgabe der generalisierten semantischen Segmentierung von synthetischen zu realen Domänen, die darauf abzielt, ein Modell zu lernen, das robust gegenüber unbekannten realen Szenen ist und ausschließlich auf synthetischen Daten basiert. Der erhebliche Domänenversatz zwischen synthetischen und realen Daten – einschließlich der begrenzten Vielfalt an Quellumgebungen und der großen Verteilungsunterschiede zwischen synthetischen und realen Daten – behindert die Modellleistung erheblich bei unbekannten realen Szenen. In dieser Arbeit schlagen wir den Style-HAllucinated Dual Consistency Learning (SHADE)-Ansatz vor, um diesen Domänenversatz zu bewältigen. Insbesondere basiert SHADE auf zwei Konsistenzbedingungen: der Style-Konsistenz (SC) und der Retrospektions-Konsistenz (RC). Die SC erweitert die Quellbedingungen und fördert, dass das Modell konsistente Darstellungen über stildiverse Beispiele hinweg lernt. Die RC nutzt Wissen aus realen Daten, um zu verhindern, dass das Modell zu stark an synthetische Daten überangepasst wird, und sorgt so dafür, dass die Darstellungen zwischen synthetischen und realen Modellen weitgehend konsistent bleiben. Zudem stellen wir ein neuartiges Style-Halluzinationsmodul (SHM) vor, das stildiverse Beispiele erzeugt, die für die Konsistenzlernung entscheidend sind. Das SHM wählt Basisstile aus der Quellverteilung aus und ermöglicht es dem Modell, während des Trainings dynamisch vielfältige und realistische Beispiele zu generieren. Experimente zeigen, dass unser SHADE eine signifikante Verbesserung erzielt und state-of-the-art-Methoden sowohl im Einzelquellen- als auch im Mehrquellen-Setting um 5,05 % bzw. 8,35 % im durchschnittlichen mIoU auf drei realen Datensätzen übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Style-Halluzinierte duale Konsistenzlernverfahren für domainspezifische semantische Segmentierung | Paper | HyperAI