Tobias Vontobel Seyedmorteza Sadat Farnood Salehi Romann M. Weber

Abstract

Diffusionsmodelle sind als führende Methode für die Bildsynthese hervorgetreten und zeigen außergewöhnliche Fotorealismus und Vielfalt. Dennoch bleibt das Training von Diffusionsmodellen in hochauflösenden Bildern rechnerisch unerschwinglich, und existierende zero-shot-Generierungstechniken zur Synthese von Bildern über den Trainingsauflösungen hinaus erzeugen oft Artefakte, darunter Objektduplizierung und räumliche Inkohärenz. In dieser Arbeit stellen wir HiWave vor, einen trainingsfreien, zero-shot-Ansatz, der die visuelle Treue und strukturelle Kohärenz bei der Synthese von ultra-hochauflösenden Bildern unter Verwendung vortrainierter Diffusionsmodelle erheblich verbessert. Unsere Methode verwendet eine zweistufige Pipeline: Erstens wird ein Basisbild vom vortrainierten Modell generiert, gefolgt von einem patchweisen DDIM-Inversionschritt (DDIM) und einem neuartigen waveletbasierten Detailverstärkungsmodul. Insbesondere nutzen wir zuerst Inversionsmethoden, um anfängliche Rauschvektoren abzuleiten, die globale Kohärenz aus dem Basisbild bewahren. Anschließend behält unser waveletdomäner Detailverstärker während des Sammelns die Niederfrequenzkomponenten des Basisbildes, um strukturelle Konsistenz sicherzustellen, während er selektiv Hochfrequenzkomponenten leitet, um feine Details und Texturen zu bereichern. Ausführliche Bewertungen mit Stable Diffusion XL zeigen, dass HiWave häufige visuelle Artefakte früherer Methoden effektiv reduziert und eine überlegene perzeptive Qualität erreicht. Eine Nutzerstudie bestätigte HiWaves Leistungsfähigkeit; es wurde in mehr als 80 % der Vergleiche gegenüber dem aktuellen Stand der Technik bevorzugt, was seine Effektivität für hochwertige, ultra-hochauflösende Bildsynthese ohne erneutes Training oder architektonische Änderungen unterstreicht.