HomoFormer : Transformer homogénéisé pour l'élimination des ombres dans les images

L’hétérogénéité spatiale et les motifs diversifiés de la dégradation causée par l’ombre entrent en conflit avec le mécanisme de partage de poids adopté par les modèles dominants, ce qui peut entraîner un compromis insatisfaisant. Pour relever ce défi, nous proposons dans cet article une nouvelle stratégie fondée sur la transformation de l’ombre : homogénéiser directement la répartition spatiale de la dégradation due à l’ombre. Notre conception clé repose sur une opération de mélange aléatoire et son opération inverse correspondante. Plus précisément, l’opération de mélange aléatoire réarrange de manière stochastique les pixels dans l’espace spatial, tandis que l’opération inverse permet de restaurer l’ordre initial. Après un mélange aléatoire, l’ombre se diffuse à travers toute l’image, et la dégradation apparaît de manière homogène, ce qui peut être efficacement traitée par une couche d’attention auto-localisée. En outre, nous avons conçu un nouveau réseau feed-forward intégrant un modèle de position pour exploiter pleinement les informations structurelles de l’image. En s’appuyant sur ces éléments, nous avons construit un transformateur basé sur une fenêtre locale final, nommé HomoFormer, dédié au retrait des ombres dans les images. HomoFormer bénéficie de la complexité linéaire des transformateurs locaux tout en évitant les difficultés liées à l’hétérogénéité et à la diversité de la dégradation par ombre. Des expériences abondantes ont été menées sur des jeux de données publics afin de valider l’efficacité supérieure de notre approche.