HyperAIHyperAI

Command Palette

Search for a command to run...

Ein Einzelstrom-Netzwerk für robusteres und Echtzeit-RGB-D auffälliges Objektdetektion

Xiaoqi Zhao Lihe Zhang Youwei Pang Huchuan Lu Lei Zhang

Zusammenfassung

Bisherige Ansätze zur salienten Objektdetektion (SOD) mit RGB-D-Daten konzentrieren sich hauptsächlich auf die Kreuzmodalfusion zwischen dem RGB- und dem Tiefenkanal. Sie untersuchen die Auswirkungen der Tiefenkarte selbst jedoch nicht ausreichend. In dieser Arbeit entwerfen wir ein einströmiges Netzwerk, das die Tiefenkarte direkt zur Steuerung der frühen und mittleren Fusion zwischen RGB und Tiefeninformation nutzt. Dadurch entfällt der Feature-Encoder für den Tiefenkanal, was ein leichtgewichtiges und Echtzeit-fähiges Modell ermöglicht. Wir nutzen die Tiefeninformation geschickt aus zwei Perspektiven: (1) Um das durch große Modaldifferenzen verursachte Inkompatibilitätsproblem zu überwinden, entwickeln wir einen einströmigen Encoder zur frühen Fusion, der die Vorteile eines auf ImageNet vortrainierten Backbone-Modells voll ausschöpft, um reichhaltige und diskriminative Merkmale zu extrahieren. (2) Wir stellen einen neuartigen tiefenverstärkten dualen Aufmerksamkeitsmodul (DEDA) vor, der den Vordergrund- und Hintergrundzweigen effizient räumlich gefilterte Merkmale bereitstellt, wodurch der Decoder eine optimale mittlere Fusion durchführen kann. Zudem führen wir einen pyramidenförmig angepassten Merkmalsextraktionsmodul (PAFE) ein, um Objekte unterschiedlicher Skalen präzise zu lokalisieren. Umfangreiche Experimente zeigen, dass das vorgeschlagene Modell gegenüber den meisten aktuellen State-of-the-Art-Methoden unter verschiedenen Bewertungsmetriken überzeugt. Darüber hinaus ist dieses Modell um 55,5 % leichter als das derzeit leichteste Modell und erreicht bei der Verarbeitung von Bildern mit der Auflösung 384×384384 \times 384384×384 eine Echtzeitgeschwindigkeit von 32 FPS.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp