GeoNet: Unüberwachtes Lernen von dichter Tiefenschätzung, optischem Fluss und Kameraposition

Wir schlagen GeoNet vor, ein gemeinsames unüberwachtes Lernframework für die Schätzung von monokularer Tiefeninformation, optischem Fluss und Egomotion aus Videos. Die drei Komponenten sind durch die Natur der 3D-Szenengeometrie gekoppelt und werden von unserem Framework in einem end-to-end-Prozess gemeinsam gelernt. Insbesondere werden geometrische Beziehungen über die Vorhersagen der einzelnen Module extrahiert und dann als Bildrekonstruktionsverlust kombiniert, wobei statische und dynamische Szenenteile getrennt betrachtet werden. Darüber hinaus schlagen wir einen adaptiven geometrischen Konsistenzverlust vor, um die Robustheit gegenüber Ausreißern und nicht-lambertischen Bereichen zu erhöhen, was Okklusionen und Texturunsicherheiten effektiv auflöst. Experimente mit dem KITTI-Fahrdatensatz zeigen, dass unser Verfahren in allen drei Aufgaben stand der Technik entspricht, besser als bisherige unüberwachte Methoden abschneidet und sich mit überwachten Methoden vergleichen lässt.