HyperAIHyperAI

Command Palette

Search for a command to run...

RGB-D saliente Objekterkennung mit Kreuzmodalkontrolle und -auswahl

Chongyi Li Runmin Cong Yongri Piao Qianqian Xu Chen Change Loy

Zusammenfassung

Wir stellen eine effektive Methode zur schrittweisen Integration und Verfeinerung der komplementären Informationen zwischen Modalitäten für die RGB-D-Salient-Object-Detection (SOD) vor. Das vorgeschlagene Netzwerk löst hauptsächlich zwei herausfordernde Probleme: 1) Wie kann die komplementäre Information aus dem RGB-Bild und seinem entsprechenden Tiefenbild effektiv integriert werden? 2) Wie können Merkmale, die stärker mit der Aufmerksamkeit zusammenhängen, adaptiv ausgewählt werden? Zunächst führen wir ein Cross-Modality Feature Modulation (cmFM)-Modul ein, das die Merkmalsdarstellungen durch Nutzung der Tiefenmerkmale als Prior verbessert und somit die komplementären Beziehungen zwischen RGB-D-Daten modelliert. Zweitens stellen wir ein adaptives Merkmalsauswahl-Modul (Adaptive Feature Selection, AFS) vor, das salienzrelevante Merkmale auswählt und schwächere unterdrückt. Das AFS-Modul nutzt eine mehrmodale räumliche Merkmalsfusion, wobei sowohl die innermodale als auch die zwischenmodale Wechselwirkung der Kanalmerkmale berücksichtigt werden. Drittens verwenden wir ein salienzgeleitetes Position-Edge-Attention (sg-PEA)-Modul, um das Netzwerk dazu zu bringen, sich stärker auf salienzrelevante Regionen zu konzentrieren. Diese Module bilden gemeinsam einen cmMS-Block, der die Verfeinerung der Salienzmerkmale in einer grob-zu-fein-Strategie ermöglicht. In Kombination mit einer bottom-up-Inferenz erlauben die verfeinerten Salienzmerkmale eine präzise und kantenbewahrende SOD. Ausführliche Experimente zeigen, dass unser Netzwerk auf sechs etablierten RGB-D-SOD-Benchmarks die bisher besten SOD-Methoden übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
RGB-D saliente Objekterkennung mit Kreuzmodalkontrolle und -auswahl | Paper | HyperAI