Fokus auf Unschärfe: Brückenschlag zwischen synthetischem und realen Domänenfehler für die Tiefenschätzung

Datengesteuerte Methoden zur Tiefenschätzung leiden unter einer schlechten Generalisierbarkeit außerhalb der Trainingszenen, bedingt durch die enorme Variabilität realer Szenen. Dieses Problem lässt sich teilweise durch den Einsatz synthetisch generierter Bilder adressieren, doch die Schließung der Domänenlücke zwischen synthetischen und realen Daten ist keineswegs trivial. In diesem Paper greifen wir dieses Problem an, indem wir domäneninvarianten Unschärfeflecken als direkte Supervision nutzen. Wir nutzen Fokusverschiebungsmerkmale durch einen permutationsinvarianten konvolutionellen neuronalen Netzwerkansatz, der das Netzwerk dazu anregt, aus den Unterschieden zwischen Bildern mit unterschiedlichem Fokus zu lernen. Unser vorgeschlagenes Netzwerk verwendet die Unschärfekarte als intermediäre Supervisionsinformation. Dadurch können wir unser Modell vollständig auf synthetischen Daten trainieren und es direkt auf eine breite Palette realer Bilder anwenden. Wir evaluieren unser Modell anhand synthetischer und realer Datensätze und zeigen überzeugende Generalisierungsergebnisse sowie state-of-the-art Ergebnisse bei der Tiefenschätzung.