RGB-D-Salient-Objekt-Erkennung mit ubiquitärer Zielbewusstheit

Konventionelle Methoden zur Detektion von auffälligen Objekten in RGB-D-Bildern streben danach, Tiefeninformation als ergänzende Daten zu nutzen, um die auffälligen Bereiche in beiden Modalitäten zu identifizieren. Allerdings hängen die Ergebnisse der Detektion von auffälligen Objekten stark von der Qualität der erfassten Tiefendaten ab, die manchmal nicht verfügbar sind. In dieser Arbeit machen wir den ersten Versuch, das Problem der Detektion von auffälligen Objekten in RGB-D-Bildern mit einem neuen tiefenbewussten Framework zu lösen. Dieses Framework stützt sich im Testphaseausschließlich auf RGB-Daten und nutzt erfasste Tiefendaten lediglich als Überwachung für das Lernen von Repräsentationen.Um unser Framework aufzubauen und präzise Ergebnisse bei der Detektion von auffälligen Objekten zu erzielen, schlagen wir ein Ubiquitous Target Awareness (UTA)-Netzwerk vor, das drei wichtige Herausforderungen bei der Aufgabe der RGB-D-SOD (Salient Object Detection) angeht:1) Ein Modul zur Tiefenbewusstheit, um Tiefeninformationen auszugraben und unsichere Bereiche durch adaptive Tiefe-Fehlergewichte zu erkennen,2) Eine räumliche intermodale Interaktion und eine kanalbewusste interniveale Interaktion, die niederstufige Randhinweise nutzt und hochstufige auffällige Kanäle verstärkt,3) Ein gattergesteuertes Mehrskalen-Predictor-Modul, um die Auffälligkeit von Objekten in verschiedenen Kontextskalen wahrzunehmen.Neben seiner hohen Leistungsfähigkeit ist unser vorgeschlagenes UTA-Netzwerk für die Inferenz tiefendatenfrei und läuft in Echtzeit mit 43 FPS. Experimentelle Beweise zeigen, dass unser vorgeschlagenes Netzwerk nicht nur fünf öffentliche RGB-D-SOD-Benchmarks um einen großen Vorsprung überbietet, sondern auch seine Erweiterbarkeit auf fünf öffentliche RGB-SOD-Benchmarks bestätigt wird.