Das Lernen der Wiederherstellung der 3D-Szenenform aus einem einzelnen Bild

Trotz erheblicher Fortschritte bei der monokularen Tiefenschätzung in natürlichen Szenen können aktuelle Stand-der-Technik-Methoden aufgrund eines unbekannten Tiefenverschiebungsfehlers, der durch translationsinvariante Rekonstruktionsverluste bei der tiefen Schätzung mit gemischten Daten verursacht wird, und einer möglicherweise unbekannten Kamerabrennweite, keine genaue 3D-Szenengeometrie rekonstruieren. Wir untersuchen dieses Problem detailliert und schlagen einen zweistufigen Ansatz vor, der zunächst die Tiefe bis zu einem unbekannten Maßstab und Verschiebung aus einem einzelnen monokularen Bild vorhersagt und dann 3D-Punktwolkenencoder verwendet, um den fehlenden Tiefenverschiebungsfehler und die Brennweite zu bestimmen, die es uns ermöglichen, eine realistische 3D-Szenengeometrie zu rekonstruieren. Darüber hinaus schlagen wir einen bildbasierten normierten Regressionsverlust und einen normalsbasierenden geometrischen Verlust vor, um Tiefenschätzungsmodelle, die auf gemischten Datensätzen trainiert wurden, zu verbessern. Wir testen unser Tiefenmodell auf neun bisher nicht gesehenen Datensätzen und erzielen dabei den aktuellen Stand-der-Technik in Bezug auf die Generalisierung von Null-Shot-Datensätzen. Der Quellcode ist unter folgender URL verfügbar: https://git.io/Depth