Apprentissage hiérarchique séquentiel avec transformation de distribution pour la super-résolution d'images

Dans les travaux récents sur la super-résolution d’images (SR), la conception multi-échelle a été considérée afin d’explorer les informations hiérarchiques des caractéristiques. Les réseaux multi-échelles existants visent à construire des blocs complexes ou des architectures progressives pour la restauration. En général, les caractéristiques aux grandes échelles concentrent davantage d’informations structurelles et de haut niveau, tandis que celles aux petites échelles contiennent une quantité importante de détails et d’informations texturées. À cet égard, les informations provenant des caractéristiques à grande échelle peuvent être dérivées des caractéristiques à petite échelle. À partir de cette observation, nous proposons dans cet article un réseau de super-résolution à apprentissage hiérarchique séquentiel (SHSR) pour une SR d’image efficace. Plus précisément, nous prenons en compte les corrélations inter-échelles des caractéristiques, et introduisons un bloc multi-échelle séquentiel (SMB) afin d’explorer progressivement les informations hiérarchiques. Le SMB est conçu de manière récursive, exploitant la linéarité de la convolution tout en restreignant le nombre de paramètres. En plus de l’apprentissage hiérarchique séquentiel, nous étudions également les corrélations entre les cartes de caractéristiques, et proposons un bloc de transformation de distribution (DTB). Contrairement aux méthodes basées sur l’attention, le DTB traite la transformation selon une approche de normalisation, et considère conjointement les corrélations spatiales et canal-par-canal à l’aide de facteurs d’échelle et de biais. Les résultats expérimentaux montrent que SHSR atteint des performances quantitatives supérieures et une qualité visuelle améliorée par rapport aux méthodes de pointe, tout en réduisant d’environ 34 % le nombre de paramètres et de 50 % les opérations multiplicatives-accumulatives (MACs) pour un facteur d’échelle ×4. Pour améliorer encore les performances sans entraînement supplémentaire, le modèle étendu SHSR⁺, basé sur l’auto-ensemble, obtient des performances compétitives par rapport à des réseaux plus volumineux, tout en réduisant d’environ 92 % les paramètres et de 42 % les MACs pour un facteur d’échelle ×4.