Modèle De Diffusion
Dans l'apprentissage automatique,Les modèles de diffusion sont également appelés modèles de probabilité de diffusion ou modèles génératifs basés sur les scores.Il s’agit d’un type de modèle génératif à variables latentes. Le modèle de diffusion se compose de trois parties principales : le processus direct, le processus inverse et le processus d’échantillonnage. L’objectif des modèles de diffusion est d’apprendre le processus de diffusion qui génère la distribution de probabilité d’un ensemble de données donné. Ils apprennent la structure latente d’un ensemble de données en modélisant la manière dont les points de données se répartissent dans l’espace latent.
En termes de vision par ordinateur, les modèles de diffusion peuvent être appliqués à une variété de tâches, notamment la réduction du bruit d'image, la retouche, la super-résolution et la génération d'images.Ils impliquent généralement la formation d’un réseau neuronal pour débruiter séquentiellement des images floues avec du bruit gaussien. Le modèle est formé pour inverser le processus d’ajout de bruit aux images. Une fois la formation convergente, elle peut être utilisée pour la génération d'images, en commençant par des images composées de bruit aléatoire et en laissant le réseau les débruiter de manière itérative. Un exemple de ceci est le modèle texte-image DALL-E 2 d’OpenAI, qui utilise des modèles de diffusion à la fois pour les priors du modèle (générant des intégrations d’images à partir d’une légende de texte) et pour le décodeur qui génère l’image finale. Les modèles de diffusion ont récemment trouvé des applications dans le traitement du langage naturel (TALN), en particulier dans des domaines tels que la génération et le résumé de texte.Les exemples de cadres de modélisation de diffusion courants utilisés en vision par ordinateur incluent les modèles probabilistes de diffusion avec débruitage, les réseaux de notation conditionnés par le bruit et les équations différentielles stochastiques.
Les modèles de diffusion s'inspirent de la thermodynamique hors équilibre.Ils définissent une chaîne de Markov d'étapes de diffusion pour ajouter lentement du bruit aléatoire aux données, puis apprennent à inverser le processus de diffusion pour construire les échantillons de données souhaités à partir du bruit. Contrairement aux modèles VAE ou de flux, les modèles de diffusion sont appris via une procédure fixe et les variables latentes ont une dimensionnalité élevée (la même que les données d'origine).
Références
【1】https://lilianweng.github.io/posts/2021-07-11-diffusion-models/