Ein Einzelstrom-Netzwerk für robusteres und Echtzeit-RGB-D auffälliges Objektdetektion

Bisherige Ansätze zur salienten Objektdetektion (SOD) mit RGB-D-Daten konzentrieren sich hauptsächlich auf die Kreuzmodalfusion zwischen dem RGB- und dem Tiefenkanal. Sie untersuchen die Auswirkungen der Tiefenkarte selbst jedoch nicht ausreichend. In dieser Arbeit entwerfen wir ein einströmiges Netzwerk, das die Tiefenkarte direkt zur Steuerung der frühen und mittleren Fusion zwischen RGB und Tiefeninformation nutzt. Dadurch entfällt der Feature-Encoder für den Tiefenkanal, was ein leichtgewichtiges und Echtzeit-fähiges Modell ermöglicht. Wir nutzen die Tiefeninformation geschickt aus zwei Perspektiven: (1) Um das durch große Modaldifferenzen verursachte Inkompatibilitätsproblem zu überwinden, entwickeln wir einen einströmigen Encoder zur frühen Fusion, der die Vorteile eines auf ImageNet vortrainierten Backbone-Modells voll ausschöpft, um reichhaltige und diskriminative Merkmale zu extrahieren. (2) Wir stellen einen neuartigen tiefenverstärkten dualen Aufmerksamkeitsmodul (DEDA) vor, der den Vordergrund- und Hintergrundzweigen effizient räumlich gefilterte Merkmale bereitstellt, wodurch der Decoder eine optimale mittlere Fusion durchführen kann. Zudem führen wir einen pyramidenförmig angepassten Merkmalsextraktionsmodul (PAFE) ein, um Objekte unterschiedlicher Skalen präzise zu lokalisieren. Umfangreiche Experimente zeigen, dass das vorgeschlagene Modell gegenüber den meisten aktuellen State-of-the-Art-Methoden unter verschiedenen Bewertungsmetriken überzeugt. Darüber hinaus ist dieses Modell um 55,5 % leichter als das derzeit leichteste Modell und erreicht bei der Verarbeitung von Bildern mit der Auflösung $384 \times 384$ eine Echtzeitgeschwindigkeit von 32 FPS.