Posterior-Mean Rectified Flow : Vers la Restauration d'Images Photo-Réalistes avec un MSE Minimum

Les algorithmes de restauration d'images photo-réalistes sont généralement évalués par des mesures de distorsion (par exemple, PSNR, SSIM) et par des mesures de qualité perceptive (par exemple, FID, NIQE), où l'objectif est d'atteindre la plus faible distorsion possible sans compromettre la qualité perceptive. Pour atteindre cet objectif, les méthodes actuelles tentent généralement d'échantillonner à partir de la distribution a posteriori ou d'optimiser une somme pondérée d'une perte de distorsion (par exemple, MSE) et d'une perte de qualité perceptive (par exemple, GAN). Contrairement aux travaux précédents, cet article se concentre spécifiquement sur l'estimateur optimal qui minimise le MSE sous une contrainte d'indice perceptif parfait, c'est-à-dire où la distribution des images reconstruites est égale à celle des images de référence. Un résultat théorique récent montre qu'un tel estimateur peut être construit en transportant optimalement la prédiction moyenne a posteriori (estimation MMSE) vers la distribution des images de référence. Inspirés par ce résultat, nous introduisons le Posterior-Mean Rectified Flow (PMRF), un algorithme simple mais très efficace qui approche cet estimateur optimal. En particulier, PMRF prédit d'abord la moyenne a posteriori, puis transporte le résultat vers une image de haute qualité en utilisant un modèle de flux rectifié qui approxime la carte de transport optimal souhaitée. Nous examinons l'utilité théorique du PMRF et démontrons qu'il surpasse constamment les méthodes précédentes dans diverses tâches de restauration d'images.