End-to-End-Lernen für die gemeinsame Tiefen- und Bildrekonstruktion aus diffraktiver Rotation

Die Schätzung der Tiefeninformation aus einer einzigen Kameraansicht (monokulare Tiefenschätzung) bleibt aufgrund der schlecht gestellten Natur dieses Problems weiterhin eine offene Herausforderung. Deep-Learning-basierte Ansätze wurden umfassend untersucht und haben sich als leistungsfähig erwiesen, um akzeptable Genauigkeiten bei der Tiefenschätzung zu erzielen. Dennoch wird ihre Leistung erheblich durch das Fehlen sinnvoller und robuster Tiefeninformationen in einzelnen RGB-Bildern eingeschränkt. Codierte Apertur-basierte Methoden, die Phasen- und Amplitudenmasken nutzen, kodieren durch tiefenabhängige Punktverbreitungs-Funktionen (Point Spread Functions, PSFs) starke Tiefeninformationen in zweidimensionalen Bildern, wobei jedoch die Bildqualität beeinträchtigt wird. In diesem Artikel präsentieren wir einen neuartigen end-to-end Lernansatz zur Tiefenschätzung basierend auf diffraktiver Rotation. Dabei wird eine Phasenmaske gemeinsam mit den Gewichten eines Tiefenschätzung-Neuralen Netzes optimiert, um eine rotierende Punktverbreitungs-Funktion (Rotating Point Spread Function, RPSF) in Abhängigkeit von der Verschärfung zu erzeugen. Hierzu führen wir ein differenzierbares physikalisches Modell der Aperturmaske ein und nutzen eine präzise Simulation des Kamerabildaufnahmeprozesses. Unser Ansatz erfordert ein signifikant einfacheres Modell und weniger Trainingsdaten, ist jedoch in der monokularen Tiefenschätzung auf indoor-Benchmarks den bestehenden Methoden überlegen. Zudem behandeln wir das Problem der Bildverschlechterung durch die Integration eines nicht-blinden, nicht-uniformen Bildentschärfungsmoduls, das das scharfe, all-in-focus-Bild aus seinem RPSF-verwackelten Gegenstück rekonstruiert.