Adaptiveer Fusionsansatz für Einzelansicht- und Mehransichtstiefe im autonomen Fahren

Die Tiefenschätzung auf Basis mehrerer Ansichten hat auf verschiedenen Benchmarks beeindruckende Ergebnisse erzielt. Allerdings beruhen fast alle aktuellen Systeme auf vorgegebenen idealen Kameraposen, die in vielen realen Anwendungsszenarien – wie beispielsweise im autonomen Fahren – nicht verfügbar sind. In dieser Arbeit stellen wir einen neuen Robustheitsbenchmark vor, um die Leistungsfähigkeit von Tiefenschätzungssystemen unter verschiedenen störenden Kameraposen zu evaluieren. Überraschenderweise stellen wir fest, dass gegenwärtige Methoden der mehransichtigen Tiefenschätzung sowie Fusionsansätze aus Einzel- und Mehransicht bei störenden Kameraposen versagen. Um dieser Herausforderung zu begegnen, schlagen wir ein neues System zur adaptiven Fusion von Einzel- und Mehransichts-Tiefenschätzungen vor, das zuverlässige und genaue Tiefenabschätzungen auch unter schwierigen Bedingungen ermöglicht. Der adaptive Fusionsmodul führt die Kombination durch dynamische Auswahl von hochzuverlässigen Regionen zwischen den beiden Zweigen basierend auf einer umhüllenden Zuverlässigkeitskarte durch. Dadurch wählt das System bei texturlosen Szenen, ungenauer Kalibrierung, dynamischen Objekten oder anderen Störungen tendenziell den zuverlässigere Zweig aus. Unser Ansatz übertrifft die derzeit besten Methoden der mehransichtigen Tiefenschätzung und Fusionsverfahren in Robustheitsprüfungen. Zudem erreichen wir state-of-the-art Ergebnisse auf anspruchsvollen Benchmarks (KITTI und DDAD), wenn genaue Kameraposen zur Verfügung stehen. Projekt-Website: https://github.com/Junda24/AFNet/.