HyperAIHyperAI

Command Palette

Search for a command to run...

DreamBooth: Feinabstimmung von Text-zu-Bild-Diffusionsmodellen für subjektgesteuerte Generierung

Nataniel Ruiz Yuzheng Li Varun Jampani Yael Pritch Michael Rubinstein Kfir Aberman

Zusammenfassung

Große Text-zu-Bild-Modelle haben einen bemerkenswerten Sprung in der Entwicklung der KI bewirkt und ermöglichen es, hochwertige und vielfältige Bilder aus einem gegebenen Textanstoß zu erzeugen. Allerdings fehlt diesen Modellen die Fähigkeit, das Erscheinungsbild von Objekten in einem gegebenen Referenzdatensatz nachzubilden und neue Darstellungen dieser Objekte in verschiedenen Kontexten zu synthetisieren. In dieser Arbeit stellen wir einen neuen Ansatz zur "Personalisierung" von Text-zu-Bild-Diffusionsmodellen vor. Mit nur wenigen Bildern eines Objekts als Eingabe feinjustieren wir ein vortrainiertes Text-zu-Bild-Modell, sodass es lernt, einen eindeutigen Bezeichner mit diesem spezifischen Objekt zu verbinden. Sobald das Objekt im Ausgabebereich des Modells eingebettet ist, kann der eindeutige Bezeichner verwendet werden, um neue fotorealistische Bilder des Objekts in verschiedenen Szenarien zu synthetisieren. Durch die Nutzung des semantischen Vorwissens, das im Modell eingebettet ist, zusammen mit einem neuen autogenen klassenspezifischen Vorwissenerhaltungsverlust (autogenous class-specific prior preservation loss), ermöglicht unsere Technik die Synthese des Objekts in diversen Szenarien, Posevarianten, Ansichten und Beleuchtungsbedingungen, die nicht im Referenzdatensatz enthalten sind. Wir wenden unsere Technik auf mehrere bisher unangreifbare Aufgaben an, darunter die Rekontextualisierung von Objekten, textgeführte Ansichtssynthese und künstlerisches Rendern – dabei werden die wesentlichen Merkmale des Objekts erhalten. Des Weiteren stellen wir einen neuen Datensatz und ein Evaluationsprotokoll für diese neue Aufgabe der objektgetriebenen Generierung bereit. Projektseite: https://dreambooth.github.io/


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp