Apprentissage des dynamiques hiérarchiques avec adjacence spatiale pour l'amélioration d'images

Dans diverses applications réelles d’amélioration d’images, les dégradations sont généralement non uniformes, non homogènes et diverses, ce qui pose un défi aux réseaux profonds traditionnels dotés de paramètres fixes lors de la phase d’inférence. Inspirés par les réseaux profonds dynamiques capables d’adapter leurs structures ou paramètres en fonction des entrées, nous proposons un mécanisme hiérarchique dynamique guidé par le Principe du Canal Sombre (DCP) pour l’amélioration d’images, permettant d’adapter simultanément les paramètres du modèle et les caractéristiques de manière locale à globale, tout en préservant l’adjacence spatiale au sein des régions. Plus précisément, des composants dynamiques sont appliqués successivement au niveau canal-espace, au niveau structure, et au niveau région. Les dynamiques au niveau canal-espace captent les variations représentatives au niveau canal et spatial, tandis que les dynamiques au niveau structure permettent de modéliser des transformations géométriques et d’augmenter les positions d’échantillonnage pour les caractéristiques locales variables, afin de mieux décrire les structures. En outre, nous introduisons un nouveau composant dynamique au niveau région, conçu pour générer des masques spatialement continus destinés aux caractéristiques dynamiques, exploitant de manière efficace les Principe du Canal Sombre (DCP). Ces dynamiques au niveau région profitent de l’exploitation des différences statistiques entre images dégradées et non dégradées. Par ailleurs, la génération de régions guidée par le DCP est intrinsèquement cohérente au niveau spatial, ce qui facilite la capture de la cohérence locale des images. La méthode proposée atteint des performances de pointe et produit des images visuellement plaisantes pour plusieurs tâches d’amélioration, notamment la débrouillardisation d’images, la suppression de pluie et l’amélioration d’images en faible luminosité. Le code source est disponible à l’adresse suivante : https://github.com/DongLiangSXU/HDM.