Reconstruction d'images HDR à partir d'une seule image en utilisant un CNN avec des caractéristiques masquées et une perte perceptuelle

Les appareils photo numériques ne peuvent capturer qu'une plage limitée de luminosité des scènes du monde réel, produisant des images avec des pixels saturés. Les méthodes existantes de reconstruction d'images à haute dynamique (HDR) à partir d'une seule image tentent d'élargir cette plage de luminosité, mais ne parviennent pas à imaginer des textures plausibles, entraînant des artefacts dans les zones saturées. Dans cet article, nous présentons une nouvelle approche basée sur l'apprentissage pour reconstruire une image HDR en récupérant les pixels saturés d'une image LDR d'entrée de manière visuellement agréable. Les méthodes précédentes basées sur l'apprentissage profond appliquent les mêmes filtres convolutifs aux pixels bien exposés et saturés, créant une ambiguïté lors de l'entraînement et conduisant à des artefacts en damier et en halo. Pour surmonter ce problème, nous proposons un mécanisme de masquage des caractéristiques qui réduit la contribution des caractéristiques provenant des zones saturées. De plus, nous adaptons la fonction de perte perceptive basée sur VGG à notre application afin de pouvoir synthétiser des textures visuellement agréables. Étant donné que le nombre d'images HDR disponibles pour l'entraînement est limité, nous proposons d'entraîner notre système en deux étapes. Plus précisément, nous entraînons d'abord notre système sur un grand nombre d'images pour la tâche de complétion d'image (inpainting), puis nous l'affinons pour la reconstruction HDR. Comme la plupart des exemples HDR contiennent des régions lisses faciles à reconstruire, nous proposons une stratégie d'échantillonnage pour sélectionner des patchs d'entraînement difficiles pendant l'étape d'affinage HDR. Nous démontrons par le biais de résultats expérimentaux que notre approche peut reconstruire des résultats HDR visuellement agréables, surpassant l'état actuel de l'art sur une large gamme de scènes.