ACNet: Aufmerksamkeitsbasiertes Netzwerk zur Nutzung ergänzender Merkmale für die RGBD-Semantische Segmentierung

Im Vergleich zur RGB-Semantiksegmentierung kann die RGBD-Semantiksegmentierung durch Berücksichtigung von Tiefeninformationen eine bessere Leistung erzielen. Allerdings ist es für aktuelle Segmentierer immer noch schwierig, die RGBD-Informationen effektiv zu nutzen, da die Merkmalsverteilungen von RGB- und Tiefenbildern (D) in verschiedenen Szenen erheblich variieren. In dieser Arbeit schlagen wir ein Aufmerksamkeitskomplementäres Netzwerk (ACNet) vor, das selektiv Merkmale aus den RGB- und Tiefenzweigen sammelt. Die wichtigsten Beiträge liegen im Aufmerksamkeitskomplementärmodul (ACM) und der Architektur mit drei parallelen Zweigen. Genauer gesagt ist ACM ein kanalbasiertes Modul, das gewichtete Merkmale aus den RGB- und Tiefenzweigen extrahiert. Die Architektur behält die Inferenz der ursprünglichen RGB- und Tiefenzweige bei und ermöglicht gleichzeitig den Fusionszweig. Basierend auf diesen Strukturen ist ACNet in der Lage, mehr hochwertige Merkmale aus verschiedenen Kanälen zu nutzen. Wir evaluieren unser Modell auf den Datensätzen SUN-RGBD und NYUDv2 und beweisen, dass unser Modell den aktuellen Stand der Technik übertrifft. Insbesondere erreichen wir einen mIoU-Wert von 48,3 % auf dem Testset von NYUDv2 mit ResNet50. Wir werden unseren Quellcode basierend auf PyTorch sowie das trainierte Segmentierungsmodell unter https://github.com/anheidelonghu/ACNet veröffentlichen.