Hyper-SD: 効率的な画像合成のための軌跡セグメンテーション一貫性モデル

1. チュートリアルの概要

该教程仅用 RTX 4040 即可启动，注意：prompt 仅支持英文

Hyper-SD は、2024 年に ByteDance によって開始された革新的な画像合成フレームワークで、画像合成タスクにおける拡散モデルの効率とパフォーマンスの向上を目的としています。 Trajectory Segmented Consistency Distillation (TSCD) テクノロジーを使用して、生成される画像の高品質を維持しながら、画像合成の効率を大幅に向上させます。

Hyper-SD の主な機能は次のとおりです。

• 軌道分割一貫性蒸留 (TSCD): 事前定義されたタイム ステップ内で一貫性蒸留を徐々に実行することにより、推論ステップを削減しながら、元の ODE (常微分方程式) 軌跡が効果的に保持されます。
• 人間によるフィードバック学習: 生成された画像に対する人間の美的好みと組み合わせることで、フィードバック学習を通じてモデルのパフォーマンスが最適化され、特に低ステップ推論の状況で画質が大幅に向上します。
• 統合 LoRA モデル: 1 ～ 8 ステップの推論をサポートする統合 LoRA モデルが提案されており、フルタイム推論の一貫性を確保しながら、さまざまなニーズを持つユーザーに柔軟性を提供します。
• パフォーマンスの向上: Hyper-SD は、数ステップの推論で、CLIP スコアや Aes スコアを含む複数の評価指標で既存のテクノロジーを上回り、画像合成タスクにおける主導的地位を証明しています。
• Hyper-SD は、SDXL アーキテクチャと SD1.5 アーキテクチャの両方で 1 ～ 8 ステップの生成で SOTA レベルの画像生成パフォーマンスを実現できます。たとえば、1 ステップ推論における Hyper-SDXL の CLIP スコアと Aes スコアはそれぞれそれよりも高くなります。 SDXL のライトニングは +0.68 および +0.51 高くなりました。さらに、Hyper-SD のオープンソースの性質により、生成 AI コミュニティの成長が促進され、研究者や開発者がモデルをさらに探索して改善できるようになります。

2. 操作手順

1. 克隆并启动容器后点击 API 地址即可进入 Web 界面（由于模型较大，加载需要 1-2 分钟后才会在 API 界面）

2. 可以选择设置 prompt 和相关参数，然后继续创作，可选择对采样参数进行调整

• 画像数: 生成された画像の数。
• 推論ステップ: 推論ステップの数。
• プロンプト: 生成される画像の内容
• ControlNet コンディショニング スケール: ControlNet レギュレーター
• シード: ランダムなシードの数は次のとおりです。

在左侧进行绘制即可即可实时看到生成图像变化