Apprentissage de l'attention parallaxe pour la sur-résolution d'images stéréoscopiques

Les paires d'images stéréoscopiques peuvent être utilisées pour améliorer les performances de la sur-résolution (SR) car elles fournissent des informations supplémentaires provenant d'une deuxième perspective. Cependant, il est difficile d'intégrer ces informations pour la sur-résolution en raison des disparités importantes entre les images stéréoscopiques. Dans cet article, nous proposons un réseau de sur-résolution stéréoscopique à l'attention du parallaxe (PASSRnet) pour intégrer les informations issues d'une paire d'images stéréoscopiques dans le processus de sur-résolution. Plus précisément, nous introduisons un mécanisme d'attention parallaxe avec un champ récepteur global le long de la ligne épipolaire afin de traiter différentes images stéréoscopiques présentant de grandes variations de disparité. Nous proposons également un nouveau et le plus grand ensemble de données pour la sur-résolution d'images stéréoscopiques (nommément, Flickr1024). De nombreuses expériences montrent que le mécanisme d'attention parallaxe peut capturer les correspondances entre les images stéréoscopiques pour améliorer les performances de la sur-résolution avec un coût computationnel et mémoire minimal. Les résultats comparatifs démontrent que notre PASSRnet atteint des performances de pointe sur les ensembles de données Middlebury, KITTI 2012 et KITTI 2015.