Innendepth-Vervollständigung mit Randkonsistenz und Selbst-Aufmerksamkeit

Tiefenschätzungsfunktionen sind für die 3D-Erkennung hilfreich. Kostengünstige Tiefenkameras können in Echtzeit Tiefen- und Farbbilder aufnehmen. Allerdings können glatte, transparente oder ferne Oberflächen vom Sensor nicht korrekt gescannt werden. Daher ist die Verbesserung und Restauration der erfassten Tiefeninformation eine wichtige Aufgabe. Die Tiefenvervollständigung zielt darauf ab, die Lücken zu füllen, die Sensoren nicht erfassen können, was immer noch eine komplexe Aufgabe für Maschinenlearning-Systeme darstellt. Traditionelle manuell justierte Methoden haben ihre Grenzen erreicht, während neuronale Netzwerkbasierte Ansätze dazu neigen, die Ausgabe aus den umliegenden Tiefenwerten zu kopieren und zu interpolieren. Dies führt zu verschwommenen Konturen und der Struktur des Tiefenbildes geht verloren. Unser Hauptanliegen besteht daher darin, ein End-to-End-Netzwerk zu entwickeln, das die Qualität von vervollständigten Tiefenkarten verbessert, während es gleichzeitig die Kantenklarheit beibehält. Wir nutzen das Selbst-Aufmerksamkeitsmechanismus (self-attention mechanism), der bisher in der Bildergänzung verwendet wurde, um in jeder Schicht der Faltung nützlichere Informationen zu extrahieren und so die vollständige Tiefenkarte zu verbessern. Darüber hinaus schlagen wir den Konzept der Kantenkonsistenz vor, um die Qualität und Struktur der Tiefenkarte weiter zu erhöhen. Experimentelle Ergebnisse bestätigen die Effektivität unseres Schemas zur Selbst-Aufmerksamkeit und Kantenkonsistenz, das den bisher besten Arbeiten zur Tiefenvervollständigung auf dem Matterport3D-Datensatz übertrifft. Unser Code ist öffentlich verfügbar unter https://github.com/tsunghan-wu/Depth-Completion.