Bifurkierter Backbone-Strategie für die RGB-D-Salient-Object-Detection

Mehrschichtige Merkmalsfusion ist ein zentrales Thema in der Computer Vision. Sie wurde bereits erfolgreich eingesetzt, um Objekte auf verschiedenen Skalen zu detektieren, zu segmentieren und zu klassifizieren. Sobald mehrschichtige Merkmale mit multimodalen Signalen kombiniert werden, stellt sich die optimale Merkmalsaggregation und die Strategie für multimodales Lernen als besonders herausfordernd dar. In diesem Artikel nutzen wir die inhärente multimodale und mehrschichtige Struktur der RGB-D-Salient-Object-Detection, um ein neuartiges kaskadenartiges Verbesserungsnetzwerk zu entwickeln. Insbesondere schlagen wir zunächst eine Umgruppierung der mehrschichtigen Merkmale in „Lehrer“- und „Schüler“-Merkmale mittels einer zweigigen Backbone-Strategie (Bifurcated Backbone Strategy, BBS) vor. Anschließend führen wir ein tiefenverstärktes Modul (Depth-Enhanced Module, DEM) ein, um informative Tiefeninformationen aus kanal- und raumbezogenen Perspektiven zu extrahieren. Anschließend erfolgt eine komplementäre Fusion der RGB- und Tiefenmodaliäten. Unser Architekturansatz, benannt als Bifurcated Backbone Strategy Network (BBS-Net), ist einfach, effizient und unabhängig von der zugrundeliegenden Backbone-Architektur. Ausführliche Experimente zeigen, dass BBS-Net acht anspruchsvolle Datensätze unter fünf Evaluationsmaßen erheblich besser abschneidet als achtzehn state-of-the-art-Modelle, was die Überlegenheit unseres Ansatzes belegt (ca. 4 % Verbesserung im S-Maß im Vergleich zum führenden Modell DMRA-iccv2019). Zudem bieten wir eine umfassende Analyse der Generalisierungsfähigkeit verschiedener RGB-D-Datensätze und stellen eine leistungsstarke Trainingsdatenbasis für zukünftige Forschungsarbeiten bereit.