Modèles de densité marginabilisables

Les modèles de densité de probabilité fondés sur les réseaux profonds ont connu un succès remarquable dans la modélisation de données complexes à haute dimension. Toutefois, contrairement aux estimateurs à noyau de densité, les modèles neuronaux modernes ne fournissent pas d’expressions analytiques pour les marginales ou les densités conditionnelles, car ces quantités nécessitent l’évaluation d’intégrales rarement tractables. Dans ce travail, nous présentons le Marginalizable Density Model Approximator (MDMA), une nouvelle architecture de réseau profond qui permet d’obtenir des expressions analytiques pour les probabilités, les marginales et les densités conditionnelles de tout sous-ensemble de variables. Le MDMA apprend des représentations scalaires profondes pour chaque variable individuelle, puis les combine à l’aide de décompositions hiérarchiques tensorielles apprises afin d’obtenir une fonction de répartition cumulée (CDF) tractable mais expressive, à partir de laquelle les marginales et les densités conditionnelles peuvent être aisément extraites. Nous illustrons les avantages de la marginalisabilité exacte dans plusieurs tâches qui étaient hors de portée des modèles précédents fondés sur les réseaux profonds, telles que l’estimation de l’information mutuelle entre des sous-ensembles arbitraires de variables, l’inférence de causalité par test d’indépendance conditionnelle, ou encore l’inférence avec données manquantes sans nécessiter d’imputation des données, surpassant ainsi les modèles de pointe sur ces tâches. Le modèle permet également un échantillonnage parallélisé avec une dépendance logarithmique du temps de calcul par rapport au nombre de variables.