Null-Text-Inversion zur Bearbeitung realer Bilder mit geleiteten Diffusionsmodellen

Kürzlich entwickelte textgesteuerte Diffusionsmodelle bieten leistungsstarke Bildgenerierungsfähigkeiten. Derzeit wird ein großes Maß an Bemühungen darauf verwendet, die Modifikation dieser Bilder ausschließlich durch Text zu ermöglichen, um eine intuitive und vielseitige Bearbeitung anzubieten. Um ein reales Bild mit diesen neuesten Werkzeugen zu bearbeiten, muss man es zunächst mit einem sinnvollen Textanweisung in das Vorbereich des vortrainierten Modells invertieren. In diesem Artikel stellen wir eine präzise Invertierungstechnik vor, die eine intuitive textbasierte Modifikation des Bildes erleichtert.Unser vorgeschlagener Invertierungsprozess besteht aus zwei neuartigen Schlüsselkomponenten:(i) Pivotal-Invertierung für Diffusionsmodelle. Während aktuelle Methoden darauf abzielen, zufällige Rauschproben auf ein einzelnes Eingangsbild abzubilden, verwenden wir für jeden Zeitstempel einen einzigen pivotalen Rauschvektor und optimieren um ihn herum. Wir zeigen, dass eine direkte Invertierung alleine unzureichend ist, aber einen guten Ankerpunkt für unsere Optimierung bietet.(ii) NULL-Textoptimierung, bei der wir nur die bedingungslose textuelle Einbettung modifizieren, die für die klassifikatorfreie Leitung verwendet wird, anstatt die Eingabetexteinbettung. Dies ermöglicht es, sowohl die Gewichte des Modells als auch die bedingte Einbettung unverändert zu lassen und somit promptbasierte Bearbeitungen durchzuführen, ohne den mühsamen Anpassungsprozess der Modellgewichte durchführen zu müssen.Unsere NULL-Text-Invertierung basiert auf dem öffentlich verfügbaren Stable-Diffusion-Modell und wurde umfangreich an einer Vielzahl von Bildern und Promptbearbeitungen evaluiert. Dabei zeigte sie hochwertige Bearbeitungen von realen Bildern.