SnowFormer : Transformateur d'interaction contextuelle avec conscience des échelles pour le désneigement d'une seule image

En raison des dégradations de neige variées et complexes, le désneigement d'une seule image est une tâche de restauration d'image particulièrement ardue. Comme les méthodes précédentes ne peuvent pas la traiter idéalement, nous proposons un nouveau transformateur, SnowFormer, qui explore des mécanismes d'attention croisée efficaces pour établir une interaction contextuelle locale-globale entre les patches et surpasser les travaux existants utilisant des opérateurs locaux ou des transformateurs standards. Par rapport aux méthodes de désneigement antérieures et aux méthodes universelles de restauration d'image, SnowFormer présente plusieurs avantages. Premièrement, contrairement à l'attention auto multi-têtes dans les récents Vision Transformers de restauration d'image, SnowFormer intègre le mécanisme d'attention croisée multi-têtes pour effectuer une interaction contextuelle locale-globale entre les requêtes de neige sensibles à l'échelle et les plongements (embeddings) de patchs locaux. Deuxièmement, les requêtes de neige dans SnowFormer sont générées par le générateur de requêtes à partir de caractéristiques sensibles à l'échelle agrégées, riches en indices potentiels propres à l'image propre, ce qui conduit à des résultats de restauration supérieurs. Troisièmement, SnowFormer surpasse les réseaux avancés de désneigement state-of-the-art et les transformateurs universels courants de restauration d'image sur six jeux de données synthétiques et réels. Le code est disponible à l'adresse \url{https://github.com/Ephemeral182/SnowFormer}.