Hyper-SD : un modèle de cohérence de segmentation de trajectoire pour une synthèse d'images efficace

1. Introduction au tutoriel

该教程仅用 RTX 4040 即可启动，注意：prompt 仅支持英文

Hyper-SD est un framework de synthèse d'images innovant lancé par ByteDance en 2024, qui vise à améliorer l'efficacité et les performances des modèles de diffusion dans les tâches de synthèse d'images. Il améliore considérablement l'efficacité de la synthèse d'images tout en maintenant la haute qualité des images générées grâce à la technologie Trajectory Segmented Consistency Distillation (TSCD).

Les principales caractéristiques de l'Hyper-SD incluent :

• Distillation de cohérence de segmentation de trajectoire (TSCD) : en effectuant progressivement une distillation de cohérence dans des pas de temps prédéfinis, la trajectoire ODE (équation différentielle ordinaire) d'origine est efficacement préservée tout en réduisant les étapes d'inférence.
• Apprentissage par rétroaction humaine : en intégrant les préférences esthétiques humaines pour les images générées, les performances du modèle sont optimisées grâce à l'apprentissage par rétroaction, ce qui améliore considérablement la qualité de l'image, en particulier dans les situations de raisonnement à faible pas.
• Modèle LoRA unifié : un modèle LoRA unifié prenant en charge le raisonnement en 1 à 8 étapes est proposé, offrant une flexibilité aux utilisateurs ayant des besoins différents tout en garantissant la cohérence du raisonnement à tout moment.
• Amélioration des performances : dans un raisonnement en quelques étapes, Hyper-SD surpasse la technologie existante sur plusieurs mesures d'évaluation, notamment le score CLIP et le score Aes, démontrant sa position de leader dans les tâches de synthèse d'images.
• Hyper-SD atteint des performances de génération d'images de pointe en 1 à 8 étapes sur les architectures SDXL et SD1.5. Par exemple, Hyper-SDXL obtient des scores CLIP et Aes +0,68 et +0,51 plus élevés que SDXL-Lightning dans le raisonnement en 1 étape, respectivement. De plus, la nature open source d’Hyper-SD favorise la croissance de la communauté de l’IA générative, permettant aux chercheurs et aux développeurs d’explorer et d’améliorer davantage le modèle.

2. Étapes de l'opération

1. 克隆并启动容器后点击 API 地址即可进入 Web 界面（由于模型较大，加载需要 1-2 分钟后才会在 API 界面）

2. 可以选择设置 prompt 和相关参数，然后继续创作，可选择对采样参数进行调整

• Nombre d'images : Le nombre d'images générées.
• Étapes d'inférence : Nombre d'étapes d'inférence.
• Invite : Le contenu de l'image à générer
• Échelle de conditionnement ControlNet : Conditionneur ControlNet
• Graine : numéro de graine aléatoire, comme indiqué ci-dessous

在左侧进行绘制即可即可实时看到生成图像变化