Dreifach überwachte Dekodernetze für die gemeinsame Detektion und Segmentierung

Gemeinsame Objekterkennung und semantische Segmentierung können in vielen Bereichen angewendet werden, wie zum Beispiel in autonomen Fahrzeugen und unbemannten Oberflächenfahrzeugen. Ein erster und wichtiger Fortschritt in Richtung dieses Ziels wurde durch die einfache gemeinsame Nutzung der tiefen Faltungsmerkmale für beide Aufgaben erreicht. Allerdings ist dieses einfache Schema nicht in der Lage, den Tatsachen gerecht zu werden, dass Erkennung und Segmentierung sich gegenseitig ergänzen und unterstützen. Um diesen Nachteil zu überwinden, schlagen wir ein Framework namens TripleNet vor, bei dem dreifache Überwachungen – einschließlich detektionsorientierter Überwachung, klassenbewusster segmentierender Überwachung und klassenunabhängiger segmentierender Überwachung – auf jede Schicht des Dekodernetzwerks angewendet werden. Die klassenunabhängige segmentierende Überwachung bietet ein Objektpräferenzwissen sowohl für die semantische Segmentierung als auch für die Objekterkennung. Neben den drei Arten von Überwachungen sind zwei leichte Module (nämlich das innervernetzte Modul und die Aufmerksamkeits-Skip-Layer-Fusion) ebenfalls in jede Schicht des Dekoders integriert. Im vorgeschlagenen Framework können Erkennung und Segmentierung sich gegenseitig stark verbessern. Darüber hinaus werden klassenunabhängige und klassenbewusste Segmentierungen auf jeder Schicht des Dekoders während der Testphase nicht durchgeführt. Daher entstehen während der Testphase keine zusätzlichen Rechenkosten. Experimentelle Ergebnisse auf den Datensätzen VOC2007 und VOC2012 zeigen, dass das vorgeschlagene TripleNet sowohl die Erkennungs- als auch die Segmentierungsgenauigkeit verbessern kann, ohne zusätzliche Rechenkosten hinzuzufügen.