HyperAIHyperAI
vor 2 Monaten

iDisc: Interne Diskretisierung für die Tiefenschätzung mit einem Mono-Camera-System

Luigi Piccinelli; Christos Sakaridis; Fisher Yu
iDisc: Interne Diskretisierung für die Tiefenschätzung mit einem Mono-Camera-System
Abstract

Die monokulare Tiefenschätzung ist grundlegend für das Verständnis von 3D-Szenen und abgeleiteten Anwendungen. Trotzdem stellt sie selbst unter überwachtem Setup eine Herausforderung dar und ist schlecht gestellt, aufgrund des Mangels an vollständigen geometrischen Restriktionen. Obwohl eine Szene aus Millionen von Pixeln bestehen kann, gibt es weniger hochrangige Muster. Wir schlagen iDisc vor, um diese Muster mit internen diskretisierten Darstellungen zu lernen. Die Methode teilt die Szene implizit in eine Reihe hochrangiger Muster ein. Insbesondere implementiert unser neues Modul, die interne Diskretisierung (ID), einen kontinuierlich-diskret-kontinuierlichen Engpass, um diese Konzepte ohne Überwachung zu erlernen. Im Gegensatz zu den derzeit besten Methoden legt das vorgeschlagene Modell keine expliziten Restriktionen oder Vorannahmen an die Tiefenausgabe fest. Das gesamte Netzwerk mit dem ID-Modul kann dank des auf Aufmerksamkeit basierenden Engpassmoduls end-to-end trainiert werden. Unsere Methode setzt neue Standards und erzielt erhebliche Verbesserungen bei NYU-Depth v2 und KITTI, wobei sie alle veröffentlichten Methoden im offiziellen KITTI-Benchmark übertrifft. iDisc kann auch herausragende Ergebnisse bei der Schätzungen von Oberflächennormalen erzielen. Des Weiteren untersuchen wir die Generalisierungsfähigkeit des Modells durch zero-shot-Tests. Wir beobachten die dringende Notwendigkeit, Diversifizierung im Außenszenario zu fördern. Daher führen wir Aufteilungen zweier Autonomfahr-Datensätze ein: DDAD und Argoverse. Der Quellcode ist unter http://vis.xyz/pub/idisc verfügbar.

iDisc: Interne Diskretisierung für die Tiefenschätzung mit einem Mono-Camera-System | Neueste Forschungsarbeiten | HyperAI