Débrouillardage d’image unique pour divers scénarios de brouillard à l’aide d’un réseau en pyramide projetée en arrière

Apprendre à débrouiller une seule image brumeuse, en particulier en utilisant un petit ensemble d’entraînement, est un défi significatif. Nous proposons une nouvelle architecture de réseau antagoniste génératif pour ce problème, nommée réseau pyramidal par projection arrière (BPPNet), qui obtient de bons résultats dans diverses conditions de brouillard exigeantes, notamment le brouillard dense et le brouillard hétérogène. Notre architecture intègre l’apprentissage de multiples niveaux de complexité tout en préservant le contexte spatial grâce à des blocs itératifs de UNets, ainsi que l’information structurale à plusieurs échelles grâce à un nouveau bloc de convolution pyramidal. Ces blocs, combinés dans le générateur, sont particulièrement adaptés à l’apprentissage par projection arrière. Nous démontrons que notre réseau peut être entraîné sans surajustement en utilisant aussi peu que 20 paires d’images brumeuses et non brumeuses. Nous rapportons des performances de pointe sur les jeux de données de brouillard homogène NTIRE 2018 pour les images intérieures et extérieures, le jeu de données denseHaze NTIRE 2019, ainsi que le jeu de données de brouillard hétérogène NTIRE 2020.