Hyper-SD: Ein Trajektoriensegmentierungskonsistenzmodell für eine effiziente Bildsynthese

1. Einführung in das Tutorial

该教程仅用 RTX 4040 即可启动，注意：prompt 仅支持英文

Hyper-SD ist ein innovatives Bildsynthese-Framework, das 2024 von ByteDance eingeführt wurde und darauf abzielt, die Effizienz und Leistung von Diffusionsmodellen bei Bildsyntheseaufgaben zu verbessern. Es verbessert die Effizienz der Bildsynthese erheblich und behält gleichzeitig die hohe Qualität der generierten Bilder durch die Trajectory Segmented Consistency Distillation (TSCD)-Technologie bei.

Zu den Hauptfunktionen von Hyper-SD gehören:

• Trajectory Segmentation Consistency Distillation (TSCD): Durch die schrittweise Durchführung der Konsistenzdestillation innerhalb vordefinierter Zeitschritte bleibt die ursprüngliche ODE-Trajektorie (gewöhnliche Differentialgleichung) effektiv erhalten, während die Inferenzschritte reduziert werden.
• Menschliches Feedback-Lernen: Durch die Berücksichtigung menschlicher ästhetischer Vorlieben für generierte Bilder wird die Modellleistung durch Feedback-Lernen optimiert, was die Bildqualität erheblich verbessert, insbesondere in Situationen mit geringem Denkaufwand.
• Einheitliches LoRA-Modell: Es wird ein einheitliches LoRA-Modell vorgeschlagen, das 1- bis 8-stufiges Denken unterstützt und Benutzern mit unterschiedlichen Anforderungen Flexibilität bietet, während gleichzeitig jederzeit die Konsistenz des Denkens gewährleistet ist.
• Leistungsverbesserung: Beim Wenigschritt-Reasoning übertrifft Hyper-SD die bestehende Technologie in mehreren Bewertungsmetriken, einschließlich CLIP Score und Aes Score, und demonstriert damit seine führende Position bei Bildsyntheseaufgaben.
• Hyper-SD erreicht modernste Bildgenerierungsleistung bei der 1- bis 8-Schritt-Generierung sowohl auf SDXL- als auch auf SD1.5-Architekturen. Beispielsweise erreicht Hyper-SDXL beim 1-Step-Reasoning um +0,68 bzw. +0,51 höhere CLIP- und Aes-Werte als SDXL-Lightning. Darüber hinaus fördert der Open-Source-Charakter von Hyper-SD das Wachstum der Community für generative KI und ermöglicht es Forschern und Entwicklern, das Modell weiter zu erforschen und zu verbessern.

2. Bedienungsschritte

1. 克隆并启动容器后点击 API 地址即可进入 Web 界面（由于模型较大，加载需要 1-2 分钟后才会在 API 界面）

2. 可以选择设置 prompt 和相关参数，然后继续创作，可选择对采样参数进行调整

• Anzahl der Bilder: Die Anzahl der generierten Bilder.
• Inferenzschritte: Anzahl der Inferenzschritte.
• Eingabeaufforderung: Der Inhalt des zu generierenden Bildes
• ControlNet-Konditionierungsskala: ControlNet Conditioner
• Seed: Zufällige Seed-Nummer, wie unten gezeigt

在左侧进行绘制即可即可实时看到生成图像变化