Apprentissage de motifs de combinaison optimaux pour la super-résolution stéréo légère

La super-résolution d’images stéréo (stereoSR) vise à améliorer la qualité de la super-résolution en exploitant les informations auxiliaires provenant d’une autre perspective. La plupart des approches se concentrent sur l’optimisation de la conception des modules, en empilant un grand nombre de blocs réseau afin d’extraire et d’intégrer efficacement les informations. Bien que des progrès aient été réalisés, les coûts mémoire et computationnels augmentent également de manière significative. Pour répondre à ce défi, nous proposons une structure en treillis qui apprend de manière autonome les motifs optimaux de combinaison des blocs réseau, permettant ainsi une acquisition efficace et précise des représentations de caractéristiques, et aboutissant finalement à une solution stereoSR légère. Plus précisément, nous nous inspirons du correcteur de phase en treillis pour concevoir le bloc NAF stéréo en treillis (LSNB), qui relie des paires de blocs NAF via un bloc de ré-pondération (RWBlock), selon une structure topologique en papillon couplée. Le bloc RWBlock confère au LSNB la capacité d’explorer diverses combinaisons de paires de blocs NAF grâce à une ré-pondération adaptative des caractéristiques. En outre, nous proposons un module d’attention stéréo en treillis (LSAM) afin de rechercher et de transférer les caractéristiques les plus pertinentes provenant de l’autre vue. L’architecture résultante, fortement interconnectée, nommée LSSR, est démontrée par des expériences étendues comme étant compétitive par rapport aux méthodes de pointe.