💡 HiDiffusion : Libérer la créativité et l'efficacité à haute résolution dans les modèles de diffusion pré-entraînés

Présentation de HiDiffusion

HiDiffusion est un framework innovant développé par Megvii Technology qui vise à améliorer la créativité et l'efficacité des modèles de diffusion pré-entraînés dans la génération d'images haute résolution. Il s’agit d’une méthode qui peut améliorer la résolution et la vitesse des modèles de diffusion pré-entraînés sans formation. En appliquant HiDiffusion à divers modèles de diffusion pré-entraînés, non seulement la résolution de génération d'images peut être augmentée à 4096 × 4096, mais la vitesse de génération d'images peut également être augmentée de 1,5 à 6 fois. Cette approche permet non seulement de résoudre les problèmes de duplication d’objets et de charge de calcul élevée, mais aussi d’obtenir d’excellents résultats dans la tâche de génération d’images haute résolution.

Le projet prend en charge une variété de tâches, notamment la conversion de texte en image, d'image en image et la restauration d'image.

Exemples d'effets

(Plus rapide et meilleurs détails d'image.)

(2 000 résultats de tâches ControlNet et de peinture.)

Comment utiliser

1. Clonez d'abord le conteneur et démarrez-le selon les étapes

2. Copiez l’adresse API générée dans votre navigateur et utilisez-la

3. Trois façons de l'utiliser

HiDiffusion s'applique aux trois méthodes suivantes, qui correspondent toutes à un modèle. Lors de l'utilisation d'une méthode, le modèle sera d'abord chargé, puis l'image sera générée. Si vous changez de méthode, le modèle sera rechargé.

3.1 Méthode 1 : Texte en image

Générez des images en saisissant des mots d'invite positifs et des mots d'invite inversés.

Mots d'incitation positifs: décrit ce que vous voulez voir dans l'image,

Par exemple : debout au milieu des ruines, un golem de pierre se réveille, des vignes et des fleurs jaillissant des crevasses de son corps.

Mot d'invite inversé: Utilisé pour décrire le contenu qui n'est pas souhaité apparaître dans l'image et pour optimiser les résultats générés en excluant les éléments inutiles.

Par exemple : visage flou, laid, en double, mal dessiné, déformé, en mosaïque, artefacts, mauvais membres.

Les étapes d'utilisation et les effets de génération sont illustrés dans la figure ci-dessous

3.2 Méthode 2 : Utilisation de ControlNet pour générer des graphiques

ControlNet: Générez une image basée sur le contour de l'image d'origine en fonction du mot d'invite. Tout d’abord, extrayez le contour de l’image d’origine, puis générez-la en fonction de ce contour. L'opération est illustrée dans la figure ci-dessous

3.3 Méthode 3 : Retouche d'image

Image originale: Saisissez l'image à réparer

Zone de réparation: Saisissez la zone à réparer, qui est en fait une image binaire, où la zone blanche est la zone à réparer et la zone noire est la zone gelée. Lors de la réparation, modifiez la zone blanche selon les instructions de Zheng Dan !

Par exemple, les mots d'invite positifs d'entrée sont : Un explorateur steampunk portant une casquette d'aviateur en cuir et des lunettes de protection, avec un télescope en laiton à la main, se tient au milieu d'arbres anciens imposants, leurs racines entrelacées avec des engrenages et des tuyaux complexes. (Un explorateur steampunk portant une casquette d'aviateur en cuir et des lunettes de protection, tenant un télescope en laiton à la main, se tient au milieu d'arbres anciens imposants, leurs racines entrelacées d'engrenages et de tuyaux complexes.)

Les mots d'invite inversés sont : flou, laid, dupliqué, visage mal dessiné, déformé, mosaïque, artefacts, mauvais membres.