Fusion d'auto-exposition pour la suppression d'ombre dans une seule image

L'élimination des ombres reste une tâche complexe en raison de ses propriétés inhérentes dépendantes du fond et variant spatialement, ce qui entraîne des motifs d'ombre inconnus et divers. Même les réseaux neuronaux profonds les plus performants peinent à restituer un fond exempt d'ombres sans trace. Cet article propose une nouvelle solution pour cette tâche en la formuluant comme un problème de fusion d'exposition afin de relever ces défis. Intuitivement, nous pouvons d'abord estimer plusieurs images surexposées par rapport à l'image d'entrée, afin que les régions ombragées dans ces images aient la même couleur que les zones sans ombre de l'image d'entrée. Ensuite, nous fusionnons l'image d'entrée originale avec les images surexposées pour générer le contrepartie final exempt d'ombres. Cependant, la propriété spatialement variable de l'ombre exige que la fusion soit suffisamment « intelligente », c'est-à-dire qu'elle doit sélectionner automatiquement les pixels surexposés appropriés provenant de différentes images pour rendre la sortie finale naturelle. Pour répondre à ce défi, nous proposons le Shadow-aware FusionNet (FusionNet sensible aux ombres) qui prend l'image ombragée en entrée pour générer des cartes de poids de fusion sur toutes les images surexposées. De plus, nous proposons le boundary-aware RefineNet (RefineNet sensible aux contours) pour éliminer davantage toute trace résiduelle d'ombre. Nous menons des expériences approfondies sur les jeux de données ISTD, ISTD+ et SRD pour valider l'efficacité de notre méthode et montrer une meilleure performance dans les régions ombragées ainsi qu'une performance comparable dans les régions non ombragées par rapport aux méthodes les plus avancées actuellement disponibles. Nous mettons à disposition le modèle et le code sur https://github.com/tsingqguo/exposure-fusion-shadow-removal.