HyperAIHyperAI

Command Palette

Search for a command to run...

DELTAS: Tiefenschätzung durch Lernverfahren der Triangulierung und Verdichtung von dünn besetzten Punkten

Ayan Sinha Zak Murez James Bartolozzi Vijay Badrinarayanan Andrew Rabinovich

Zusammenfassung

Multi-View Stereo (MVS) ist der optimale Kompromiss zwischen der Genauigkeit von aktiven Tiefenmessverfahren und der Praktikabilität von monokularen Tiefenschätzungen. Ansätze, die auf Kostenvolumen basieren und 3D-Faltungsneuronale Netze (CNNs) einsetzen, haben die Genauigkeit von MVS-Systemen erheblich verbessert. Allerdings geht diese Genauigkeit mit einem hohen Rechenaufwand einher, der eine praktische Anwendung erschwert. Im Gegensatz zu den Kostenvolumenansätzen schlagen wir einen effizienteren Weg zur Tiefenschätzung vor, indem wir zunächst (a) Interpunkte detektieren und deren Deskriptoren evaluieren, dann (b) lernen, eine kleine Menge an Interpunkten zu matchen und zu triangulieren, und schließlich (c) dieses dünn besetzte Set von 3D-Punkten mittels CNNs verdichten. Ein End-to-End-Netzwerk führt alle drei Schritte innerhalb eines tiefen Lernframeworks effizient durch und wird mit intermediärer 2D-Bild- und 3D-geometrischer Überwachung sowie mit Tiefenüberwachung trainiert. Entscheidend ist, dass unser erster Schritt die Pose-Schätzung durch Detektion und Lernen von Interpunkten ergänzt. Wir zeigen Stand-of-the-Art-Ergebnisse bei der Tiefenschätzung für verschiedene Szenelängen unter geringerem Rechenaufwand. Darüber hinaus verallgemeinert sich unsere Methode auf neuere Umgebungen, und die Deskriptoren, die unser Netzwerk ausgibt, sind vergleichbar mit starken Baselines. Der Code ist unter https://github.com/magicleap/DELTAS verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp