Apprentissage de modèles de diffusion EBM hiérarchiques dans l'espace latent

Ce travail étudie le problème d'apprentissage du modèle a priori basé sur l'énergie (EBM) et du modèle générateur à plusieurs couches. Le modèle générateur à plusieurs couches, qui comporte plusieurs couches de variables latentes organisées selon une structure hiérarchique descendante, suppose généralement un modèle a priori gaussien. Ce type de modèle a priori peut s'avérer limité en expressivité, entraînant un écart entre la distribution a posteriori du générateur et le modèle a priori, phénomène connu sous le nom de « problème du trou a priori ». Des travaux récents ont exploré l'apprentissage d'un modèle a priori basé sur l'énergie comme modèle complémentaire, appliqué en deuxième phase, afin de combler cet écart. Toutefois, l'EBM défini sur un espace latent à plusieurs couches peut présenter une forte multimodalité, ce qui rend l'échantillonnage à partir de ce modèle a priori marginal particulièrement difficile en pratique, conduisant à un apprentissage inefficace de l'EBM. Pour surmonter ce défi, nous proposons d'utiliser un schéma probabiliste de diffusion afin de réduire la charge liée à l'échantillonnage de l'EBM, facilitant ainsi son apprentissage. Nos expériences étendues démontrent une performance supérieure de notre modèle a priori EBM appris par diffusion sur diverses tâches exigeantes.