Schätzung von tiefen Unschärfekarten mittels Domänenanpassung

In diesem Paper stellen wir die erste end-to-end-architektur von convolutionalen neuronalen Netzen (CNN), das Defocus Map Estimation Network (DMENet), für die räumlich variierende Schärfentiefe-Karten-Schätzung vor. Zur Trainingsvorbereitung erstellen wir eine neue Tiefenschärfe-(DOF)-Datensammlung, SYNDOF, bei der jedes Bild synthetisch mit einer Ground-Truth-Tiefenkarte verschwommen wird. Aufgrund der synthetischen Natur von SYNDOF können die Merkmalsausprägungen der Bilder in SYNDOF von denen realer verschwommener Fotos abweichen. Um diese Diskrepanz zu überbrücken, wenden wir Domain-Adaptation an, die die Merkmale realer verschwommener Fotos in jene synthetisch verschmierter Bilder überträgt. Unser DMENet besteht aus vier Subnetzen: einem Verschwommenheitsschätzungssubnetz, einem Domain-Adaptationssubnetz, einem Inhaltsbewahrungssubnetz und einem Schärfe-Kalibrierungssubnetz. Die Subnetze sind miteinander verbunden und werden end-to-end gemeinsam mit ihren jeweiligen Supervisions signalen trainiert. Unsere Methode wird an öffentlich verfügbaren Datensätzen für Verschwommenheitserkennung und -schätzung evaluiert, und die Ergebnisse zeigen eine state-of-the-art Leistung.