HyperAIHyperAI

Command Palette

Search for a command to run...

Vollständig selbstüberwachtes Lernen für die semantische Segmentierung

Yuan Wang Wei Zhuo Yucong Li Zhi Wang Qi Ju Wenwu Zhu

Zusammenfassung

In dieser Arbeit präsentieren wir einen vollständig selbstüberwachten Rahmen für die semantische Segmentierung (FS^4). Eine vollständig bootstrapped Strategie für die semantische Segmentierung, die erhebliche Anstrengungen bei der Erstellung großer Mengen an Annotationen erspart, ist entscheidend für die Entwicklung maßgeschneiderter Modelle von Ende zu Ende für offene Weltbereiche. Dieser Anwendungsfall ist in realen Szenarien dringend erforderlich. Obwohl neuere selbstüberwachte Ansätze für die semantische Segmentierung erhebliche Fortschritte erzielt haben, hängen diese Verfahren jedoch stark von vollständig überwachten vortrainierten Modellen ab, was die Realisierung einer vollständig selbstüberwachten Pipeline unmöglich macht. Um dieses Problem zu lösen, schlagen wir ein bootstrapped Trainingsschema für die semantische Segmentierung vor, das die globale semantische Kenntnis vollständig nutzt, unterstützt durch unsere vorgeschlagene PGG-Strategie und den CAE-Modul. Insbesondere führen wir eine Pixel-Clustering- und Zuweisungsstrategie zur Segmentierungssupervision durch. Um ein chaotisches Clustering zu verhindern, stellen wir folgendes vor: 1) eine pyramidale global-gesteuerte (PGG) Trainingsstrategie, die das Lernen mit pyramidalen Bild-/Patch-Level-Pseudolabels supervidiert, die durch Gruppierung unüberwachter Merkmale generiert werden. Stabile globale und pyramidale semantische Pseudolabels verhindern, dass die Segmentierung zu viele Störregionen lernt oder in eine einzige Hintergrundregion abfällt; 2) zusätzlich schlagen wir einen kontextbewussten Embedding-(CAE)-Modul vor, der globale Merkmals-Embeddings auf nichttriviale Weise unter Berücksichtigung benachbarter Elemente sowohl im räumlichen als auch im optischen Sinne erzeugt. Wir evaluieren unsere Methode auf dem großskaligen COCO-Stuff-Datensatz und erreichen eine Verbesserung von 7,19 mIoU sowohl bei Dingen als auch bei Sachen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Vollständig selbstüberwachtes Lernen für die semantische Segmentierung | Paper | HyperAI