ShadowFormer : Le contexte global aide à l'élimination des ombres dans les images

Les méthodes d'apprentissage profond récentes ont obtenu des résultats prometteurs dans la suppression des ombres dans les images. Cependant, la plupart des approches existantes se concentrent sur le travail local au sein des régions ombrées et non ombrées, ce qui entraîne de graves artefacts autour des contours des ombres ainsi qu'une illumination incohérente entre les régions ombrées et non ombrées. Il reste encore difficile pour les modèles de suppression d'ombres profonds d'exploiter la corrélation contextuelle globale entre les régions ombrées et non ombrées. Dans cette étude, nous proposons d'abord un modèle d'ombre basé sur la théorie du Retinex, à partir duquel nous dérivons un nouveau réseau basé sur les transformateurs, appelé ShadowFormer, pour exploiter les régions non ombrées afin d'aider à la restauration des régions ombrées. Un cadre d'attention multirésolution est utilisé pour capturer hiérarchiquement l'information globale. Sur cette base, nous proposons un Module d'Interaction Ombre (MIO) avec une Attention d'Interaction Ombre (AIO) au stade de la bouteille d'étranglement pour modéliser efficacement la corrélation contextuelle entre les régions ombrées et non ombrées. Nous menons de nombreuses expériences sur trois ensembles de données publics populaires, dont ISTD, ISTD+ et SRD, pour évaluer la méthode proposée. Notre méthode atteint des performances de pointe en utilisant jusqu'à 150 fois moins de paramètres de modèle.