Tiefenbewusste CNN für RGB-D-Segmentierung

Faltungsschichtneuronale Netze (CNN) sind durch ihre unfähigkeit, geometrische Informationen aufgrund der festen Gitterkernstruktur zu verarbeiten, begrenzt. Die Verfügbarkeit von Tiefendaten ermöglicht Fortschritte bei der RGB-D semantischen Segmentierung mit CNNs. Aktuelle Methoden verwenden entweder die Tiefeninformation als zusätzliche Bilder oder verarbeiten räumliche Informationen in 3D-Volumina oder Punktwolken. Diese Ansätze leiden jedoch unter hohen Rechen- und Speicherkosten. Um diese Probleme zu lösen, stellen wir ein tiefenbewusstes CNN vor, indem wir zwei intuitive, flexible und effektive Operationen einführen: tiefenbewusste Faltung und tiefenbewusstes Durchschnittspooling. Indem die Tiefengleichheit zwischen Pixeln während des Informationsflusses genutzt wird, wird Geometrie nahtlos in das CNN integriert. Ohne zusätzliche Parameter einzuführen, können beide Operatoren leicht in bestehende CNNs integriert werden. Ausführliche Experimente und Abschleifstudien an anspruchsvollen RGB-D semantischen Segmentierungsbenchmarks bestätigen die Effektivität und Flexibilität unseres Ansatzes.