Lernen von Topologie aus synthetischen Daten für unüberwachtes Tiefenkompletierungsverfahren

Wir stellen eine Methode zur Ableitung dichter Tiefenkarten aus Bildern und spärlichen Tiefenmessungen vor, indem wir synthetische Daten nutzen, um die Zuordnung spärlicher Punktwolken zu dichten natürlichen Formen zu lernen, und das Bild als Beweismaterial verwenden, um die vorhergesagte Tiefenkarte zu validieren. Unser gelerntes Vorwissen über natürliche Formen benötigt lediglich spärliche Tiefenwerte als Eingabe, nicht jedoch Bilder. Dadurch ist die Methode nicht von der Kovariatenverschiebung betroffen, wenn gelernte Modelle von synthetischen zu realen Daten übertragen werden. Dies ermöglicht es uns, reichlich verfügbare synthetische Daten mit Ground-Truth zu nutzen, um die schwierigste Komponente des Rekonstruktionsprozesses, nämlich die Topologieabschätzung, zu erlernen, und das Bild anschließend zur Verfeinerung der Vorhersage basierend auf photometrischen Hinweisen einzusetzen. Unser Ansatz verwendet weniger Parameter als frühere Methoden und erreicht den Stand der Technik sowohl auf indoor- als auch auf outdoor-Benchmark-Datensätzen. Der Quellcode ist unter: https://github.com/alexklwong/learning-topology-synthetic-data verfügbar.