Ausgraben von Kreuz-Bild-Semantik für schwach überwachte semantische Segmentierung

Diese Arbeit untersucht das Problem des Lernens von semantischer Segmentierung unter Verwendung lediglich von Bild-Level-Supervision. Aktuelle gängige Ansätze nutzen Objektlokalisierungskarten aus Klassifikatoren als Supervisionsignale, stoßen jedoch an Grenzen, wenn es darum geht, die Lokalisierungskarten mit umfassenderen Objektinhalten zu füllen. Im Gegensatz zu früheren Arbeiten, die hauptsächlich auf intra-bildliche Informationen fokussieren, untersuchen wir den Wert von Kreuz-bildlichen semantischen Beziehungen für die umfassende Erfassung von Objektmustern. Um dies zu erreichen, werden zwei neuronale Co-Attention-Mechanismen in den Klassifikator integriert, die ergänzend semantische Ähnlichkeiten und Unterschiede zwischen Bildern erfassen. Insbesondere, gegeben ein Paar Trainingsbilder, zwingt eine Co-Attention den Klassifikator, gemeinsame Semantiken aus ko-attentiven Objekten zu erkennen, während die andere, sogenannte kontrastive Co-Attention, den Klassifikator dazu anregt, ungeteilte Semantiken aus den verbleibenden, unähnlichen Objekten zu identifizieren. Dadurch kann der Klassifikator zusätzliche Objektmuster entdecken und die Semantiken besser in Bildregionen verankern. Neben der Verbesserung des Lernens von Objektmustern kann die Co-Attention zudem Kontext aus anderen verwandten Bildern nutzen, um die Inferenz der Lokalisierungskarten zu verfeinern, was letztlich dem Lernen der semantischen Segmentierung zugutekommt. Wesentlicherweise bietet unser Algorithmus einen einheitlichen Rahmen, der unterschiedliche WSSS-(Weakly Supervised Semantic Segmentation)-Szenarien effektiv bewältigt: (1) Lernen mit präziser Bild-Level-Supervision allein, (2) zusätzliche einfache Einzelbeschriftungsdaten und (3) zusätzliche verrauschte Web-Daten. Er erreicht neue SOTA-Ergebnisse (State-of-the-Art) in allen diesen Szenarien und demonstriert so seine Wirksamkeit und Verallgemeinerungsfähigkeit. Darüber hinaus erreichte unsere Methode den ersten Platz im Weakly-Supervised Semantic Segmentation Track der CVPR2020 Learning from Imperfect Data Challenge.