Apprentissage de Caractéristiques Précises et Enrichies pour la Sur-résolution d'Images Stéréoscopiques

La super-résolution d'images stéréoscopiques (stereoSR) vise à améliorer la qualité des résultats de super-résolution en intégrant des informations complémentaires provenant d'une vue alternative. Bien que les méthodes actuelles aient montré des avancées significatives, elles opèrent généralement sur des représentations à pleine résolution pour préserver les détails spatiaux, ce qui pose des défis dans la capture précise des informations contextuelles. En même temps, elles utilisent toutes les similarités de caractéristiques pour fusionner l'information entre les deux vues, potentiellement ignorant l'impact de l'information non pertinente. Pour surmonter ces problèmes, nous proposons un réseau de fusion sélective multi-échelle (MSSFNet) afin de préserver les détails spatiaux précis et d'intégrer une abondance d'informations contextuelles, tout en sélectionnant et fusionnant de manière adaptative les caractéristiques les plus précises issues des deux vues pour améliorer la qualité de la stereoSR. Plus précisément, nous développons un bloc multi-échelle (MSB) qui obtient des représentations de caractéristiques enrichies contextuellement à travers plusieurs échelles spatiales tout en préservant les détails spatiaux précis. De plus, pour retenir dynamiquement l'information inter-vue essentielle, nous concevons un module d'attention de fusion sélective (SFAM) qui recherche et transfère les caractéristiques les plus précises d'une autre vue. Pour apprendre un ensemble riche de caractéristiques locales et non-locales, nous introduisons un bloc de convolution de Fourier rapide (FFCB) permettant d'intégrer explicitement les connaissances du domaine fréquentiel. Des expériences étendues montrent que MSSFNet réalise des améliorations significatives par rapport aux approches de pointe tant sur les évaluations quantitatives que qualitatives.