Pertes perceptuelles pour le transfert de style en temps réel et la super-résolution

Nous abordons les problèmes de transformation d'images, où une image d'entrée est transformée en une image de sortie. Les méthodes récentes pour ce type de problèmes entraînent généralement des réseaux neuronaux convolutifs à flux direct en utilisant une perte \emph{par pixel} entre l'image de sortie et l'image de référence. Des travaux parallèles ont montré que des images de haute qualité peuvent être générées en définissant et en optimisant des fonctions de perte \emph{perceptuelles} basées sur des caractéristiques de haut niveau extraites de réseaux pré-entraînés. Nous combinons les avantages des deux approches et proposons l'utilisation de fonctions de perte perceptuelles pour l'entraînement de réseaux neuronaux convolutifs à flux direct dans le cadre des tâches de transformation d'images. Nous présentons des résultats sur le transfert de style d'images, où un réseau neuronal à flux direct est entraîné pour résoudre le problème d'optimisation proposé par Gatys et al. en temps réel. Comparativement à la méthode basée sur l'optimisation, notre réseau fournit des résultats qualitatifs similaires mais est plus rapide de trois ordres de grandeur. Nous avons également expérimenté la super-résolution mono-image, où le remplacement d'une perte par pixel par une perte perceptuelle donne des résultats visuellement agréables.