Hyper-SD 实时绘画生图

Hyper-SD:用于高效图像合成的轨迹分段一致性模型

一、教程简介

该教程仅用 RTX 4040 即可启动,注意:prompt 仅支持英文

Hyper-SD 是由字节跳动于 2024 年推出的一款创新的图像合成框架,旨在提高扩散模型在图像合成任务中的效率和性能。它通过轨迹分割一致性蒸馏(Trajectory Segmented Consistency Distillation, TSCD)技术,显著提升了图像合成的效率,同时保持了生成图像的高质量。

Hyper-SD 的主要特点包括:

  • 轨迹分割一致性蒸馏(TSCD):通过在预定义的时间步段内逐步执行一致性蒸馏,有效保留了原始 ODE(常微分方程)轨迹,同时减少了推理步骤。
  • 人类反馈学习:结合人类对生成图像的美学偏好,通过反馈学习优化模型性能,尤其在低步骤推理情况下显著提升了图像质量。
  • 统一的 LoRA 模型:提出了一个支持 1 到 8 步推理的统一 LoRA 模型,为不同需求的用户提供了灵活性,同时保证了全时推理的一致性。
  • 性能提升:在少步骤推理中,Hyper-SD 在多个评估指标上超越了现有技术,包括 CLIP Score 和 Aes Score 等,证明了其在图像合成任务中的领先地位。
  • Hyper-SD 在 SDXL 和 SD1.5 两种架构上都能在 1 到 8 步生成中实现 SOTA 级别的图像生成性能,例如,Hyper-SDXL 在 1 步推理中的 CLIP 分数和 Aes 分数分别比 SDXL-Lightning 高了 +0.68 和 +0.51 。此外,Hyper-SD 的开源性质促进了生成式 AI 社区的发展,允许研究人员和开发者进一步探索和改进模型。

二、运行步骤

1. 克隆并启动容器后点击 API 地址即可进入 Web 界面(由于模型较大,加载需要 1-2 分钟后才会在 API 界面)
2. 可以选择设置 prompt 和相关参数,然后继续创作,可选择对采样参数进行调整
  • Number of Images:生成图片的数量。
  • Inference Steps:推理步数。
  • Prompt:要生成图片的内容
  • ControlNet Conditioning Scale:ControlNet 调节器
  • Seed:随即种子数 例如下图
在左侧进行绘制即可即可实时看到生成图像变化