Traduction d'images photoréalistes à haute résolution en temps réel : Un réseau de traduction pyramidal laplacien

Les méthodes actuelles de traduction d'image à image (I2IT) sont soit limitées aux images de faible résolution, soit caractérisées par un temps d'inférence long en raison de leur lourde charge de calcul sur la convolution des cartes de caractéristiques de haute résolution. Dans cet article, nous nous concentrons sur l'accélération des tâches de traduction d'image à image photoréaliste de haute résolution basée sur la décomposition et la reconstruction en pyramide laplacienne sous forme fermée. Plus précisément, nous montrons que les transformations d'attributs, telles que la manipulation de l'éclairage et des couleurs, sont plus liées au composant à basse fréquence, tandis que les détails du contenu peuvent être affinés de manière adaptative sur les composants à haute fréquence. Nous proposons donc un réseau de traduction en pyramide laplacienne (LPTN) pour effectuer simultanément ces deux tâches, où nous concevons un réseau léger pour traduire le composant à basse fréquence avec une résolution réduite et une stratégie de masquage progressif pour affiner efficacement les composants à haute fréquence. Notre modèle évite la plupart des calculs lourds nécessaires pour traiter les cartes de caractéristiques de haute résolution tout en préservant fidèlement les détails de l'image. De nombreux résultats expérimentaux sur diverses tâches montrent que la méthode proposée peut traduire des images 4K en temps réel avec une seule carte graphique standard tout en offrant des performances comparables aux méthodes existantes. Les jeux de données et les codes sont disponibles : https://github.com/csjliang/LPTN.