💡 HiDiffusion: Freisetzung von Kreativität und Effizienz durch höhere Auflösung in vortrainierten Diffusionsmodellen

HiDiffusion-Einführung

HiDiffusion ist ein innovatives Framework, das von Megvii Technology entwickelt wurde und darauf abzielt, die Kreativität und Effizienz vortrainierter Diffusionsmodelle bei der Generierung hochauflösender Bilder zu verbessern. Dies ist eine Methode, mit der die Auflösung und Geschwindigkeit vortrainierter Diffusionsmodelle ohne Training verbessert werden kann. Durch die Anwendung von HiDiffusion auf verschiedene vortrainierte Diffusionsmodelle kann nicht nur die Auflösung der Bildgenerierung auf 4096 × 4096 erhöht werden, sondern auch die Bildgenerierungsgeschwindigkeit um das 1,5- bis 6-fache gesteigert werden. Dieser Ansatz löst nicht nur die Probleme der Objektduplizierung und des hohen Rechenaufwands, sondern erzielt auch hervorragende Ergebnisse bei der Generierung hochauflösender Bilder.

Das Projekt unterstützt eine Vielzahl von Aufgaben, darunter Text-zu-Bild, Bild-zu-Bild und Bildwiederherstellung.

Effektbeispiele

(Schneller und bessere Bilddetails.)

(2K-Ergebnisse von ControlNet- und Inpainting-Aufgaben.)

Anwendung

1. Klonen Sie zuerst den Container und starten Sie den Container gemäß den Schritten

2. Kopieren Sie die generierte API-Adresse in Ihren Browser und verwenden Sie sie

3. Drei Möglichkeiten zur Verwendung

HiDiffusion ist auf die folgenden drei Methoden anwendbar, die alle einem Modell entsprechen. Bei Verwendung einer Methode wird zuerst das Modell geladen und dann das Bild generiert. Wenn Sie die Methode wechseln, wird das Modell neu geladen.

3.1 Methode 1: Text zu Bild

Generieren Sie Bilder, indem Sie positive und umgekehrte Eingabeaufforderungswörter eingeben.

Positive Aufforderungswörter: beschreibt, was Sie im Bild sehen möchten,

Beispiel: Hoch erhobenen Hauptes inmitten der Ruinen erwacht ein Steingolem, aus dessen Spalten Weinreben und Blumen sprießen.

Umgekehrtes Eingabewort: Wird verwendet, um Inhalte zu beschreiben, die nicht im Bild erscheinen sollen, und um die generierten Ergebnisse durch Ausschluss unnötiger Elemente zu optimieren.

Zum Beispiel: verschwommen, hässlich, doppelt, schlecht gezeichnetes Gesicht, deformiert, Mosaik, Artefakte, fehlerhafte Gliedmaßen.

Die Nutzungsschritte und Generierungseffekte sind in der folgenden Abbildung dargestellt

3.2 Methode 2: Verwenden von ControlNet zum Generieren von Diagrammen

ControlNet: Erstellen Sie entsprechend dem Eingabewort ein Bild basierend auf der Kontur des Originalbilds. Extrahieren Sie zunächst den Umriss des Originalbilds und generieren Sie es dann basierend auf diesem Umriss. Die Funktionsweise ist in der folgenden Abbildung dargestellt

3.3 Methode 3: Bildretusche

Originalbild: Geben Sie das zu reparierende Bild ein

Reparaturbereich: Geben Sie den zu reparierenden Bereich ein. Dabei handelt es sich eigentlich um ein Binärbild, wobei der weiße Bereich der zu reparierende Bereich und der schwarze Bereich der eingefrorene Bereich ist. Ändern Sie beim Reparieren den weißen Bereich gemäß den Anweisungen von Zheng Dan!

Die positiven Stichwortwörter lauten beispielsweise: Ein Steampunk-Forscher mit Fliegermütze und Schutzbrille aus Leder und einem Messingteleskop in der Hand steht inmitten hoch aufragender uralter Bäume, deren Wurzeln mit komplizierten Zahnrädern und Rohren umschlungen sind.

Die umgekehrten Aufforderungswörter sind: verschwommen, hässlich, Duplikat, schlecht gezeichnetes Gesicht, deformiert, Mosaik, Artefakte, schlechte Gliedmaßen.