Command Palette
Search for a command to run...
DELTAS: Tiefenschätzung durch Lernverfahren der Triangulierung und Verdichtung von dünn besetzten Punkten
DELTAS: Tiefenschätzung durch Lernverfahren der Triangulierung und Verdichtung von dünn besetzten Punkten
Ayan Sinha Zak Murez James Bartolozzi Vijay Badrinarayanan Andrew Rabinovich
Zusammenfassung
Multi-View Stereo (MVS) ist der optimale Kompromiss zwischen der Genauigkeit von aktiven Tiefenmessverfahren und der Praktikabilität von monokularen Tiefenschätzungen. Ansätze, die auf Kostenvolumen basieren und 3D-Faltungsneuronale Netze (CNNs) einsetzen, haben die Genauigkeit von MVS-Systemen erheblich verbessert. Allerdings geht diese Genauigkeit mit einem hohen Rechenaufwand einher, der eine praktische Anwendung erschwert. Im Gegensatz zu den Kostenvolumenansätzen schlagen wir einen effizienteren Weg zur Tiefenschätzung vor, indem wir zunächst (a) Interpunkte detektieren und deren Deskriptoren evaluieren, dann (b) lernen, eine kleine Menge an Interpunkten zu matchen und zu triangulieren, und schließlich (c) dieses dünn besetzte Set von 3D-Punkten mittels CNNs verdichten. Ein End-to-End-Netzwerk führt alle drei Schritte innerhalb eines tiefen Lernframeworks effizient durch und wird mit intermediärer 2D-Bild- und 3D-geometrischer Überwachung sowie mit Tiefenüberwachung trainiert. Entscheidend ist, dass unser erster Schritt die Pose-Schätzung durch Detektion und Lernen von Interpunkten ergänzt. Wir zeigen Stand-of-the-Art-Ergebnisse bei der Tiefenschätzung für verschiedene Szenelängen unter geringerem Rechenaufwand. Darüber hinaus verallgemeinert sich unsere Methode auf neuere Umgebungen, und die Deskriptoren, die unser Netzwerk ausgibt, sind vergleichbar mit starken Baselines. Der Code ist unter https://github.com/magicleap/DELTAS verfügbar.