Unüberwachtes Lernen von Tiefe und Ego-Bewegung aus Videos

Wir präsentieren ein unüberwachtes Lernframework für die Aufgabe der Schätzung von Monokularer Tiefe und Kamerasbewegung aus unstrukturierten Videosequenzen. Dies erreichen wir durch gleichzeitiges Training von Tiefenschätz- und Kamerasatznetzwerken unter Verwendung der Aufgabe der Sichtsynthese als Überwachungssignal. Die Netzwerke sind während des Trainings durch das Ziel der Sichtsynthese gekoppelt, können aber zur Testzeit unabhängig voneinander angewendet werden. Eine empirische Auswertung am KITTI-Datensatz zeigt die Effektivität unseres Ansatzes: 1) die monokulare Tiefenschätzung erzielt vergleichbare Ergebnisse mit überwachten Methoden, die entweder wahre Pose oder Tiefe für das Training verwenden, und 2) die Pose-Schätzung liefert günstige Ergebnisse im Vergleich zu etablierten SLAM-Systemen bei vergleichbaren Eingabeeinstellungen.