Hyper-SD: 효율적인 이미지 합성을 위한 궤적 분할 일관성 모델

1. 튜토리얼 소개

该教程仅用 RTX 4040 即可启动，注意：prompt 仅支持英文

Hyper-SD는 ByteDance가 2024년에 출시한 혁신적인 이미지 합성 프레임워크로, 이미지 합성 작업에서 확산 모델의 효율성과 성능을 개선하는 것을 목표로 합니다. TSCD(Trajectory Segmented Consistency Distillation) 기술을 통해 생성된 이미지의 높은 품질을 유지하면서 이미지 합성의 효율성을 크게 향상시킵니다.

Hyper-SD의 주요 기능은 다음과 같습니다.

• 궤적 분할 일관성 증류(TSCD): 사전 정의된 시간 단계 내에서 점진적으로 일관성 증류를 수행함으로써 원래의 ODE(상미분 방정식) 궤적이 효과적으로 보존되고 추론 단계가 줄어듭니다.
• 인간 피드백 학습: 생성된 이미지에 대한 인간의 미적 선호도를 통합하여 피드백 학습을 통해 모델 성능을 최적화합니다. 이를 통해 특히 저단계 추론 상황에서 이미지 품질이 크게 향상됩니다.
• 통합 LoRA 모델: 1~8단계 추론을 지원하는 통합 LoRA 모델을 제안하여, 항상 추론의 일관성을 보장하는 동시에 다양한 요구 사항을 가진 사용자에게 유연성을 제공합니다.
• 성능 향상: 몇 단계 추론에서 Hyper-SD는 CLIP 점수와 Aes 점수를 포함한 여러 평가 지표에서 기존 기술을 능가하여 이미지 합성 작업에서 선두 자리를 차지했습니다.
• Hyper-SD는 SDXL과 SD1.5 아키텍처 모두에서 1~8단계 생성으로 최첨단 이미지 생성 성능을 구현합니다. 예를 들어, Hyper-SDXL은 1단계 추론에서 SDXL-Lightning보다 각각 +0.68 및 +0.51 더 높은 CLIP 점수와 Aes 점수를 달성합니다. 또한 Hyper-SD의 오픈 소스 특성은 생성적 AI 커뮤니티의 성장을 촉진하여 연구자와 개발자가 모델을 더욱 탐구하고 개선할 수 있도록 합니다.

2. 작업 단계

1. 克隆并启动容器后点击 API 地址即可进入 Web 界面（由于模型较大，加载需要 1-2 分钟后才会在 API 界面）

2. 可以选择设置 prompt 和相关参数，然后继续创作，可选择对采样参数进行调整

• 이미지 수: 생성된 이미지 수.
• 추론 단계: 추론 단계의 수.
• 프롬프트: 생성할 이미지의 내용
• ControlNet 컨디셔닝 스케일: ControlNet 컨디셔너
• 시드: 아래와 같이 무작위 시드 번호

在左侧进行绘制即可即可实时看到生成图像变化