HyperAIHyperAI

Command Palette

Search for a command to run...

Ausgraben von Kreuz-Bild-Semantik für schwach überwachte semantische Segmentierung

Guolei Sun Wenguan Wang Jifeng Dai Luc Van Gool

Zusammenfassung

Diese Arbeit untersucht das Problem des Lernens von semantischer Segmentierung unter Verwendung lediglich von Bild-Level-Supervision. Aktuelle gängige Ansätze nutzen Objektlokalisierungskarten aus Klassifikatoren als Supervisionsignale, stoßen jedoch an Grenzen, wenn es darum geht, die Lokalisierungskarten mit umfassenderen Objektinhalten zu füllen. Im Gegensatz zu früheren Arbeiten, die hauptsächlich auf intra-bildliche Informationen fokussieren, untersuchen wir den Wert von Kreuz-bildlichen semantischen Beziehungen für die umfassende Erfassung von Objektmustern. Um dies zu erreichen, werden zwei neuronale Co-Attention-Mechanismen in den Klassifikator integriert, die ergänzend semantische Ähnlichkeiten und Unterschiede zwischen Bildern erfassen. Insbesondere, gegeben ein Paar Trainingsbilder, zwingt eine Co-Attention den Klassifikator, gemeinsame Semantiken aus ko-attentiven Objekten zu erkennen, während die andere, sogenannte kontrastive Co-Attention, den Klassifikator dazu anregt, ungeteilte Semantiken aus den verbleibenden, unähnlichen Objekten zu identifizieren. Dadurch kann der Klassifikator zusätzliche Objektmuster entdecken und die Semantiken besser in Bildregionen verankern. Neben der Verbesserung des Lernens von Objektmustern kann die Co-Attention zudem Kontext aus anderen verwandten Bildern nutzen, um die Inferenz der Lokalisierungskarten zu verfeinern, was letztlich dem Lernen der semantischen Segmentierung zugutekommt. Wesentlicherweise bietet unser Algorithmus einen einheitlichen Rahmen, der unterschiedliche WSSS-(Weakly Supervised Semantic Segmentation)-Szenarien effektiv bewältigt: (1) Lernen mit präziser Bild-Level-Supervision allein, (2) zusätzliche einfache Einzelbeschriftungsdaten und (3) zusätzliche verrauschte Web-Daten. Er erreicht neue SOTA-Ergebnisse (State-of-the-Art) in allen diesen Szenarien und demonstriert so seine Wirksamkeit und Verallgemeinerungsfähigkeit. Darüber hinaus erreichte unsere Methode den ersten Platz im Weakly-Supervised Semantic Segmentation Track der CVPR2020 Learning from Imperfect Data Challenge.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp