Inférence variationnelle amortie basée sur un a priori de diffusion pour les problèmes inverses bruités

Des études récentes sur les problèmes inverses ont proposé des échantillonneurs a posteriori qui exploitent les modèles de diffusion pré-entraînés comme des prieurs puissants. Ces tentatives ont ouvert la voie à l'utilisation des modèles de diffusion dans une gamme étendue de problèmes inverses. Cependant, les méthodes existantes impliquent des procédures d'échantillonnage itératif exigeantes en termes de calcul et optimisent une solution séparée pour chaque mesure, ce qui entraîne une scalabilité limitée et un manque de capacité de généralisation sur des échantillons inconnus. Pour remédier à ces limitations, nous proposons une nouvelle approche, l'Inférence Variationnelle Amortie basée sur le Prieur de Diffusion (DAVI), qui résout les problèmes inverses avec un prieur de diffusion sous l'angle de l'inférence variationnelle amortie. Plus précisément, au lieu d'une optimisation séparée par mesure, notre inférence amortie apprend une fonction qui mappe directement les mesures aux distributions a posteriori implicites des données propres correspondantes, permettant un échantillonnage a posteriori en une seule étape même pour des mesures inconnues. Des expériences approfondies sur des tâches de restauration d'images, telles que le défloutage gaussien, la super-résolution 4$\times$ et le remplissage par boîte, utilisant deux ensembles de données de référence, démontrent la supériorité de notre approche par rapport à des baselines solides. Le code est disponible à l'adresse https://github.com/mlvlab/DAVI.