Réseaux de fusion dense inspirés par la physique pour le re-éclairage

La relighting d’images est devenu un sujet de recherche d’un intérêt majeur, inspiré par les applications de réalité augmentée. Des méthodes traditionnelles basées sur la physique, ainsi que des modèles d’apprentissage profond « boîte noire », ont été développées. Bien que les réseaux profonds existants aient atteint un nouvel état de l’art grâce à l’entraînement, leurs performances peuvent s’effondrer lorsque l’entraînement est limité ou ne représente pas fidèlement la phénoménologie du problème, par exemple en présence d’ombres denses ajoutées ou supprimées. Nous proposons un modèle qui enrichit les réseaux neuronaux grâce à une compréhension physique du phénomène. Plus précisément, notre méthode génère une image relumée sous de nouveaux paramètres d’éclairage à l’aide de deux stratégies distinctes, puis les fusionne à l’aide d’une carte de poids (w). Dans la première stratégie, notre modèle prédit les paramètres de réflectance du matériau (albédo) ainsi que les paramètres d’éclairage et de géométrie de la scène (ombrage) pour l’image relumée (nous désignons cette stratégie comme décomposition en images intrinsèques, ou IID). La seconde stratégie repose exclusivement sur une approche « boîte noire », où le modèle ajuste ses poids à partir d’images de référence et de termes d’erreur pendant l’entraînement, pour produire directement la sortie relumée (nous appelons cette stratégie la méthode directe). Bien que notre méthode s’applique aussi bien aux problèmes de relighting un-à-un qu’aux problèmes any-to-any, nous introduisons pour chaque cas des composants spécifiques afin d’améliorer les performances : 1) Pour le relighting un-à-un, nous intégrons les vecteurs normaux des surfaces de la scène afin de corriger de manière adaptative le gloss et les ombres dans l’image ; 2) Pour le relighting any-to-any, nous proposons un bloc multiscale supplémentaire dans l’architecture afin d’améliorer l’extraction des caractéristiques. Les résultats expérimentaux sur les jeux de données VIDIT 2020 et VIDIT 2021 (utilisés dans le défi de relighting NTIRE 2021) montrent que notre approche surpasse de nombreuses méthodes de pointe en termes de métriques classiques de fidélité et de perte perceptuelle.