Modèle topique neuronal via transport optimal

Récemment, les modèles topiques neuronaux (NTMs), inspirés des autoencodeurs variationnels, ont suscité un intérêt croissant en raison de leurs résultats prometteurs dans l’analyse de textes. Toutefois, il est généralement difficile pour les NTMs existants de parvenir simultanément à une représentation de document de haute qualité ainsi qu’à des sujets cohérents et diversifiés. En outre, leur performance se dégrade souvent fortement sur les documents courts. Le recours à une réparamétrisation est également susceptible de compromettre la qualité d’entraînement et la flexibilité du modèle. Pour remédier à ces limites, nous proposons un nouveau modèle topique neuronal fondé sur la théorie du transport optimal (OT). Plus précisément, nous proposons d’apprendre la distribution de sujets d’un document en minimisant directement la distance OT entre la distribution de mots du document et sa propre distribution de sujets. L’important est que la matrice de coût de cette distance OT modélise les poids entre sujets et mots, construite à partir des distances entre sujets et mots dans un espace d’embedding. Le modèle proposé peut être entraîné efficacement grâce à une fonction de perte différentiable. Des expériences étendues montrent que notre cadre surpasser significativement les NTMs de pointe en matière de découverte de sujets plus cohérents et diversifiés, ainsi que de représentation améliorée des documents, tant pour les textes réguliers que pour les textes courts.