DiPE: Tiefere Analyse photometrischer Fehler für das unsupervised Lernen von Tiefeninformation und Ego-Bewegung aus monokularen Videos

Die unüberwachte Lernmethode zur Schätzung von Tiefen und Eigenbewegung aus ungelabelten monokularen Videos hat in letzter Zeit erhebliche Aufmerksamkeit erhalten, da sie auf teure Ground-Truth-Daten im überwachten Ansatz verzichtet. Dies wird erreicht, indem die photometrischen Fehler zwischen der Zielansicht und den aus benachbarten Quellansichten synthetisierten Ansichten als Verlustfunktion genutzt werden. Trotz erheblicher Fortschritte leidet das Lernen weiterhin unter Ocklusionen und Szenedynamiken. In dieser Arbeit zeigen wir, dass eine sorgfältige Manipulation der photometrischen Fehler diese Herausforderungen effektiver bewältigen kann. Der zentrale Fortschritt basiert auf einer statistischen Technik, die unsichtbare oder nicht stationäre Pixel im photometrischen Fehlerkartenmasken ausblendet und somit die Netzwerke vor Fehlinterpretationen schützt. Mit diesem Outlier-Masking-Ansatz lässt sich die Tiefenschätzung von Objekten, die sich in entgegengesetzter Richtung zur Kamera bewegen, deutlich genauer ermitteln. Sofern wir wissen, wurden solche Szenarien in früheren Arbeiten bisher nicht ausreichend berücksichtigt, obwohl sie in Anwendungen wie der autonomen Fahrt eine höhere Risikobehaftung darstellen. Zudem schlagen wir ein effizientes gewichtetes mehrskaliges Verfahren vor, um Artefakte in den vorhergesagten Tiefenkarten zu reduzieren. Umfassende Experimente auf dem KITTI-Datensatz belegen die Wirksamkeit der vorgeschlagenen Ansätze. Das Gesamtsystem erreicht eine state-of-the-art-Leistung sowohl bei der Tiefenschätzung als auch bei der Schätzung der Eigenbewegung.