SegNeXt: Neuaufbau des Konzeptes der Faltungsbezogenen Aufmerksamkeit für die semantische Segmentierung

Wir stellen SegNeXt vor, eine einfache Faltungsnetzwerkarchitektur für semantische Segmentierung. Aufgrund der Effizienz von Selbst-Aufmerksamkeit bei der Kodierung räumlicher Informationen haben sich transformerbasierte Modelle in den letzten Jahren im Bereich der semantischen Segmentierung durchgesetzt. In dieser Arbeit zeigen wir, dass faltungsbasierte Aufmerksamkeit eine effizientere und wirksamere Methode zur Kodierung kontextueller Informationen ist als das Selbst-Aufmerksamkeitsmechanismus in Transformatoren. Durch die erneute Überprüfung der Eigenschaften erfolgreicher Segmentierungsmodelle entdecken wir mehrere Schlüsselkomponenten, die zu Leistungssteigerungen dieser Modelle führen. Dies motiviert uns, ein neues faltungsbasiertes Aufmerksamkeitsnetzwerk zu entwickeln, das günstige Faltungsoperationen verwendet. Ohne zusätzliche Verzierungen erreicht unser SegNeXt signifikante Verbesserungen der Leistung vergangener Standesder-Kunst-Methoden auf gängigen Benchmarks, einschließlich ADE20K, Cityscapes, COCO-Stuff, Pascal VOC, Pascal Context und iSAID. Bemerkenswerterweise übertrifft SegNeXt EfficientNet-L2 mit NAS-FPN und erreicht 90,6 % mIoU auf dem Pascal VOC 2012 Test-Leaderboard unter Verwendung nur 1/10 der Parameter. Im Durchschnitt erreicht SegNeXt etwa 2,0 %-mIoU-Verbesserungen im Vergleich zu den Standesder-Kunst-Methoden auf den ADE20K-Datensätzen bei gleicher oder geringerer Rechenleistung. Der Quellcode ist unter https://github.com/uyzhang/JSeg (Jittor) und https://github.com/Visual-Attention-Network/SegNeXt (PyTorch) verfügbar.