Swin2-MoSE : Un nouveau modèle de sur-résolution d'image unique pour la télédétection
En raison des limitations des technologies optiques et de capteurs actuelles ainsi que du coût élevé de leur mise à jour, la résolution spectrale et spatiale des satellites peut ne pas toujours répondre aux exigences souhaitées. Pour ces raisons, les techniques de sur-résolution d'images uniques en télédétection (RS-SISR) ont suscité un intérêt considérable. Dans cet article, nous proposons le modèle Swin2-MoSE, une version améliorée de Swin2SR. Notre modèle introduit MoE-SM, une version renforcée du Mélange d'Experts (MoE), pour remplacer l'Alimentation Avant (Feed-Forward) dans tous les blocs de Transformers. MoE-SM est conçu avec Smart-Merger, une nouvelle couche pour fusionner les sorties des experts individuels, et avec une nouvelle méthode pour répartir le travail entre les experts, définissant une stratégie par exemple au lieu de la stratégie par jeton couramment utilisée. De plus, nous analysons comment les encodages positionnels interagissent entre eux, démontrant que le biais par canal et le biais par tête peuvent coopérer positivement. Enfin, nous proposons d'utiliser une combinaison de pertes de Corrélation Croisée Normalisée (NCC) et d'Indice de Similarité Structurelle (SSIM), afin d'éviter les limitations typiques de la perte quadratique moyenne (MSE). Les résultats expérimentaux montrent que Swin2-MoSE surpassent tous les modèles dérivés de Swin jusqu'à 0,377 - 0,958 dB (PSNR) pour la tâche d'amplification de résolution 2x, 3x et 4x (ensembles de données Sen2Venus et OLI2MSI). Il dépasse également les modèles SOTA avec une marge notable, prouvant sa compétitivité et son excellent potentiel, notamment pour les tâches complexes. Par ailleurs, une analyse des coûts computationnels est également réalisée. Enfin, nous démontrons l'efficacité de Swin2-MoSE en l'appliquant à une tâche de segmentation sémantique (ensemble de données SeasoNet). Le code source et les modèles pré-entraînés sont disponibles sur https://github.com/IMPLabUniPr/swin2-mose/tree/official_code.