Diffusion douce : correspondance de score pour des dégradations générales

Nous définissons une famille plus large de processus de corruption qui généralise les modèles de diffusion précédemment connus. Pour inverser ces diffusions généralisées, nous proposons une nouvelle objectif appelé « Soft Score Matching », qui apprend rigoureusement la fonction score pour tout processus de corruption linéaire et obtient des résultats de pointe sur CelebA. Soft Score Matching intègre directement le processus de dégradation dans le réseau. Notre nouvelle fonction de perte entraîne le modèle à prédire une image propre, telle qu’après corruption, elle corresponde à l’observation diffusée. Nous démontrons que cet objectif apprend le gradient de la vraisemblance sous des conditions de régularité appropriées pour une famille de processus de corruption. Nous développons également une méthode fondée sur des principes pour sélectionner les niveaux de corruption dans les processus de diffusion généralisés, ainsi qu’une nouvelle méthode d’échantillonnage que nous appelons le « Momentum Sampler ». Nous montrons expérimentalement que notre cadre fonctionne pour des processus de corruption linéaires généraux, tels que le flou gaussien et le masquage. Nous atteignons un score FID de pointe de 1,85 sur CelebA-64, surpassant tous les modèles précédents de diffusion linéaire. Nous démontrons également des gains computationnels significatifs par rapport aux diffusions de débruitage classiques.