HyperAIHyperAI

Command Palette

Search for a command to run...

ACNet: Aufmerksamkeitsbasiertes Netzwerk zur Nutzung ergänzender Merkmale für die RGBD-Semantische Segmentierung

Xinxin Hu Kailun Yang Lei Fei Kaiwei Wang

Zusammenfassung

Im Vergleich zur RGB-Semantiksegmentierung kann die RGBD-Semantiksegmentierung durch Berücksichtigung von Tiefeninformationen eine bessere Leistung erzielen. Allerdings ist es für aktuelle Segmentierer immer noch schwierig, die RGBD-Informationen effektiv zu nutzen, da die Merkmalsverteilungen von RGB- und Tiefenbildern (D) in verschiedenen Szenen erheblich variieren. In dieser Arbeit schlagen wir ein Aufmerksamkeitskomplementäres Netzwerk (ACNet) vor, das selektiv Merkmale aus den RGB- und Tiefenzweigen sammelt. Die wichtigsten Beiträge liegen im Aufmerksamkeitskomplementärmodul (ACM) und der Architektur mit drei parallelen Zweigen. Genauer gesagt ist ACM ein kanalbasiertes Modul, das gewichtete Merkmale aus den RGB- und Tiefenzweigen extrahiert. Die Architektur behält die Inferenz der ursprünglichen RGB- und Tiefenzweige bei und ermöglicht gleichzeitig den Fusionszweig. Basierend auf diesen Strukturen ist ACNet in der Lage, mehr hochwertige Merkmale aus verschiedenen Kanälen zu nutzen. Wir evaluieren unser Modell auf den Datensätzen SUN-RGBD und NYUDv2 und beweisen, dass unser Modell den aktuellen Stand der Technik übertrifft. Insbesondere erreichen wir einen mIoU-Wert von 48,3 % auf dem Testset von NYUDv2 mit ResNet50. Wir werden unseren Quellcode basierend auf PyTorch sowie das trainierte Segmentierungsmodell unter https://github.com/anheidelonghu/ACNet veröffentlichen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp