HyperAIHyperAI

Command Palette

Search for a command to run...

Palette : Modèles de diffusion image à image

Chitwan Saharia William Chan Huiwen Chang Chris A Lee Jonathan Ho Tim Salimans David J Fleet Mohammad Norouzi

Résumé

Ce document développe un cadre unifié pour la traduction d'images en images basé sur des modèles de diffusion conditionnelle et évalue ce cadre sur quatre tâches de traduction d'images en images particulièrement difficiles, à savoir la colorisation, le remplissage (inpainting), l'élargissement (uncropping) et la restauration JPEG. Notre implémentation simple des modèles de diffusion d'images en images surpasse les puissantes bases de comparaison GAN et de régression sur toutes les tâches, sans nécessiter d'ajustement spécifique des hyperparamètres, de personnalisation de l'architecture ou toute autre perte auxiliaire ou technique avancée. Nous mettons en lumière l'impact d'une perte L2 par rapport à une perte L1 dans l'objectif de diffusion débruitante sur la diversité des échantillons, et démontrons par des études empiriques l'importance de l'auto-attention dans l'architecture neuronale. De manière importante, nous prônons un protocole d'évaluation unifié basé sur ImageNet, incluant une évaluation humaine et des scores de qualité d'échantillon (FID, score Inception, précision de classification d'un ResNet-50 pré-entraîné et distance perceptuelle par rapport aux images originales). Nous nous attendons à ce que ce protocole d'évaluation standardisé joue un rôle dans l'avancement de la recherche en traduction d'images en images. Enfin, nous montrons qu'un modèle de diffusion généraliste et multitâche performe aussi bien voire mieux que ses homologues spécialisés par tâche. Pour un aperçu des résultats, consultez https://diffusion-palette.github.io.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp