Hyunmin Cho Donghoon Ahn Susung Hong Jee Eun Kim Seungryong Kim Kyong Hwan Jin

Résumé

Les modèles de diffusion récents atteignent des performances de pointe dans la génération d’images, mais souffrent souvent d’incohérences sémantiques ou de hallucinations. Bien que diverses méthodes de guidage à l’inference puissent améliorer la qualité de génération, elles opèrent souvent de manière indirecte, en s’appuyant sur des signaux externes ou en modifiant l’architecture du modèle, ce qui entraîne un surcoût computationnel supplémentaire. Dans cet article, nous proposons Tangential Amplifying Guidance (TAG), une méthode de guidage plus efficace et directe, qui s’appuie uniquement sur des signaux de trajectoire sans modifier le modèle de diffusion sous-jacent. TAG utilise un échantillon intermédiaire comme base de projection et amplifie les composantes tangentielles des scores estimés par rapport à cette base afin de corriger la trajectoire d’échantillonnage. Nous formalisons ce processus de guidage à l’aide d’un développement de Taylor d’ordre un, qui démontre que l’amplification de la composante tangentielle oriente l’état vers des régions à probabilité plus élevée, réduisant ainsi les incohérences et améliorant la qualité des échantillons. TAG est un module plug-and-play, indépendant de l’architecture, qui améliore la fidélité de l’échantillonnage par une surcharge computationnelle minimale, offrant ainsi une nouvelle perspective sur le guidage dans les modèles de diffusion.