Kaskadierter Merkmalsnetzwerk für die semantische Segmentierung von RGB-D-Bildern

Die vollständig konvolutionelle Netzwerk (FCN) wurde erfolgreich bei der semantischen Segmentierung von Szenen, die mittels RGB-Bildern dargestellt werden, eingesetzt. Durch die Erweiterung der Bilder um einen Tiefenkanal wird eine verbesserte Wahrnehmung der geometrischen Information der Szene ermöglicht. Die zentrale Frage lautet daher, wie diese zusätzliche Information optimal genutzt werden kann, um die Segmentierungsgenauigkeit zu steigern. In diesem Beitrag präsentieren wir ein neuronales Netzwerk mit mehreren Zweigen zur Segmentierung von RGB-D-Bildern. Unser Ansatz besteht darin, die verfügbare Tiefeninformation zu nutzen, um das Bild in Schichten mit gemeinsamen visuellen Merkmalen von Objekten/Szenen – also mit gemeinsamer „Szenenauflösung“ – zu unterteilen. Wir führen einen kontextbewussten Empfindlichkeitsbereich (context-aware receptive field, CaRF) ein, der eine präzisere Kontrolle über die relevanten kontextuellen Informationen der gelernten Merkmale ermöglicht. Mit CaRF segmentiert jeder Zweig der Netzwerkarchitektur semantisch die entsprechenden, ähnlichen Szenenauflösungen, was einen fokussierteren Lernbereich schafft, der einfacher zu erlernen ist. Darüber hinaus wird das Netzwerk kaskadenartig strukturiert, wobei Merkmale eines Zweigs die Merkmale des benachbarten Zweigs ergänzen. Wir zeigen, dass diese Kaskadierung der Merkmale die kontextuelle Information jedes Zweigs bereichert und die Gesamtleistung des Modells signifikant verbessert. Die erzielte Genauigkeit übertrifft die der derzeit besten Verfahren auf zwei öffentlichen Datensätzen.