Tobias Vontobel Seyedmorteza Sadat Farnood Salehi Romann M. Weber

Résumé

Les modèles de diffusion sont apparus comme la principale approche pour la synthèse d'images, démontrant un réalisme photographique et une diversité exceptionnels. Cependant, l'entraînement de ces modèles à des résolutions élevées reste prohibitif sur le plan computationnel, et les techniques existantes de génération zéro-shot pour la synthèse d'images au-delà des résolutions d'entraînement produisent souvent des artefacts, notamment des duplications d'objets et une incohérence spatiale. Dans cet article, nous présentons HiWave, une approche zéro-shot sans entraînement qui améliore considérablement la fidélité visuelle et la cohérence structurelle dans la synthèse d'images en ultra-haute-résolution en utilisant des modèles de diffusion pré-entraînés. Notre méthode utilise un pipeline en deux étapes : génération d'une image de base à partir du modèle pré-entraîné, suivie d'une étape d'inversion DDIM par patchs et d'un module innovant de renforcement des détails basé sur les ondelettes. Plus précisément, nous utilisons tout d'abord des méthodes d'inversion pour obtenir des vecteurs bruit initiaux qui préservent la cohérence globale à partir de l'image de base. Ensuite, lors de l'échantillonnage, notre renforceur de détails dans le domaine ondelette conserve les composantes à basse fréquence de l'image de base pour garantir la cohérence structurelle, tout en guidant sélectivement les composantes à haute fréquence pour enrichir les détails fins et les textures. Des évaluations approfondies utilisant Stable Diffusion XL montrent que HiWave atténue efficacement les artefacts visuels courants observés dans les méthodes précédentes, atteignant une qualité perceptive supérieure. Une étude utilisateur a confirmé les performances de HiWave, qui a été préféré à l'alternative state-of-the-art dans plus de 80 % des comparaisons, soulignant son efficacité pour la synthèse d'images en ultra-haute-résolution de haute qualité sans nécessiter un réentraînement ou des modifications architecturales.