Modèle de prior EBM à espace latent conjoint appris pour générateur multi-couches

Cet article étudie le problème fondamental de l’apprentissage des modèles générateurs à plusieurs couches. Le modèle générateur à plusieurs couches construit plusieurs couches de variables latentes comme un modèle a priori au-dessus du générateur, ce qui facilite l’apprentissage de distributions de données complexes et de représentations hiérarchiques. Toutefois, ce type de modèle a priori se concentre habituellement sur la modélisation des relations inter-couches entre les variables latentes en supposant des distributions gaussiennes (conditionnelles) non informatives, ce qui peut limiter l’expressivité du modèle. Pour surmonter cette limitation et apprendre des modèles a priori plus expressifs, nous proposons un modèle fondé sur l’énergie (EBM) défini sur l’espace latent conjoint de toutes les couches de variables latentes, en s’appuyant sur le modèle générateur à plusieurs couches comme architecture fondamentale. Ce modèle a priori EBM sur l’espace latent conjoint capte les relations contextuelles intra-couches à chaque couche grâce à des termes d’énergie spécifiques à chaque couche, tout en corrigeant conjointement les variables latentes appartenant à différentes couches. Nous développons une méthode d’entraînement conjoint par estimation du maximum de vraisemblance (MLE), qui repose sur un échantillonnage par chaînes de Markov (MCMC) pour les distributions a priori et a posteriori des variables latentes issues de différentes couches. Afin d’assurer une inférence et un apprentissage efficaces, nous proposons également une méthode d’entraînement variationnelle où un modèle d’inférence est utilisé pour amortir l’échantillonnage a posteriori coûteux par MCMC. Nos expériences démontrent que le modèle appris est capable de générer des images de haute qualité et de capturer des caractéristiques hiérarchiques, offrant ainsi une meilleure détection d’anomalies.