Estimation profonde de carte de flou de mise au point par adaptation de domaine

Dans cet article, nous proposons la première architecture de réseau de neurones convolutif (CNN) end-to-end, nommée Defocus Map Estimation Network (DMENet), pour l'estimation de cartes de flou variationnelles dans l'espace. Pour entraîner ce réseau, nous avons construit un nouveau jeu de données de profondeur de champ (DOF), appelé SYNDOF, dans lequel chaque image est artificiellement floue à l’aide d’une carte de profondeur de référence. En raison de la nature synthétique de SYNDOF, les caractéristiques des images de ce jeu peuvent différer de celles des photos réelles floues par défocalisation. Pour combler cet écart, nous utilisons une adaptation de domaine afin de transférer les caractéristiques des photos réelles floues vers celles des images artificiellement floues. Notre DMENet se compose de quatre sous-réseaux : un réseau d’estimation du flou, un réseau d’adaptation de domaine, un réseau de préservation du contenu et un réseau de calibration de la netteté. Ces sous-réseaux sont interconnectés et entraînés conjointement de manière end-to-end, sous la supervision correspondante de chaque composant. Notre méthode a été évaluée sur des jeux de données publics dédiés à la détection et à l’estimation du flou, et les résultats démontrent une performance au niveau de l’état de l’art.