Amélioration de la résolution en temps réel d'images et de vidéos uniques à l'aide d'un réseau neuronal convolutif sous-pixel efficace

Récemment, plusieurs modèles basés sur les réseaux de neurones profonds ont connu un grand succès en termes de précision de reconstruction et de performance computationnelle pour la super-résolution d'images uniques. Dans ces méthodes, l'image d'entrée à faible résolution (LR) est agrandie vers l'espace à haute résolution (HR) à l'aide d'un seul filtre, généralement une interpolation bicubique, avant la reconstruction. Cela signifie que l'opération de super-résolution (SR) est effectuée dans l'espace HR. Nous démontrons que cette approche est sous-optimale et ajoute une complexité computationnelle. Dans cet article, nous présentons le premier réseau neuronal convolutif (CNN) capable de réaliser la SR en temps réel des vidéos 1080p sur une seule GPU K2. Pour y parvenir, nous proposons une nouvelle architecture de CNN où les cartes de caractéristiques sont extraites dans l'espace LR. De plus, nous introduisons une couche de convolution sous-pixel efficace qui apprend un ensemble de filtres d'agrandissement pour élargir les cartes de caractéristiques finales LR vers la sortie HR. En procédant ainsi, nous remplaçons efficacement le filtre bicubique préconçu dans le pipeline SR par des filtres d'agrandissement plus complexes spécifiquement entraînés pour chaque carte de caractéristiques, tout en réduisant la complexité computationnelle globale de l'opération SR. Nous évaluons l'approche proposée en utilisant des images et des vidéos provenant de jeux de données publiquement disponibles et montrons qu'elle performe significativement mieux (+0,15 dB sur les images et +0,39 dB sur les vidéos) et est dix fois plus rapide que les méthodes précédentes basées sur les CNN.