Apprendre à tirer des échantillons : Application à l’estimation du maximum de vraisemblance amortie pour l’apprentissage par adversaires génératifs

Nous proposons un algorithme simple pour entraîner des réseaux neuronaux stochastiques à générer des échantillons à partir de distributions cibles pour l'inférence probabiliste. Notre méthode repose sur l'ajustement itératif des paramètres du réseau neuronal afin que la sortie évolue selon un gradient variationnel de Stein qui diminue au maximum la divergence de Kullback-Leibler (KL) par rapport à la distribution cible. Notre méthode est applicable à toute distribution cible définie par sa densité non normalisée et peut entraîner toute architecture de boîte noire différentiable en termes des paramètres que nous souhaitons adapter. Comme application de notre méthode, nous proposons un algorithme d'estimation du maximum de vraisemblance amorti (AMLE) pour entraîner les modèles d'énergie profonde, où un échantillonneur neuronal est entraîné de manière adaptative pour approcher la fonction de vraisemblance. Notre méthode imite un jeu antagoniste entre le modèle d'énergie profonde et l'échantillonneur neuronal, et obtient des images réalistes compétitives avec les résultats les plus avancés actuellement disponibles.Note : - "Stein variational gradient" a été traduit par "gradient variationnel de Stein".- "Deep energy model" a été traduit par "modèle d'énergie profonde".- "Amortized MLE algorithm" a été traduit par "algorithme d'estimation du maximum de vraisemblance amorti".