Inférence Variationnelle

L'inférence variationnelle est une méthode d'inférence approximative dans les modèles graphiques probabilistes. Comparée aux méthodes de randomisation basées sur l’échantillonnage, il s’agit d’une méthode d’approximation déterministe.

définition

Les points clés de l’idée d’inférence variationnelle peuvent être résumés comme suit :

• Utiliser une distribution simple connue pour approximer une distribution complexe qui doit être déduite ;
• Restreindre les types de distributions approximatives ;
• Une distribution postérieure approximative avec un optimum local mais une solution définie est obtenue.

L’objectif initial est de déduire la distribution p requise sur la base des données existantes ; Lorsque p n'est pas facile à exprimer et ne peut pas être résolu directement, vous pouvez essayer d'utiliser l'inférence variationnelle, c'est-à-dire de trouver une distribution q facile à exprimer et à résoudre. Lorsque la différence entre q et p est très faible (la distance de divergence KL est la plus petite), q peut être utilisé comme une distribution approximative de p et devenir le résultat de sortie.

application

L'inférence variationnelle est souvent utilisée dans l'estimation bayésienne et l'apprentissage automatique pour approximer des intégrales complexes et convient à l'inférence de divers modèles complexes.

Références 【1】Notes d'apprentissage sur l'inférence variationnelle 1——Introduction au concept