Neurale variationelle Inferenz für Textverarbeitung

Kürzliche Fortschritte im Bereich der neuronalen variationellen Inferenz haben eine Renaissance tiefgreifender latenter Variablenmodelle ausgelöst. In dieser Arbeit stellen wir ein generisches variationelles Inferenzrahmenwerk für generative und bedingte Textmodelle vor. Während traditionelle variationelle Methoden eine analytische Approximation für die nicht handhabbaren Verteilungen über latente Variablen ableiten, konstruieren wir hier ein Inferenznetzwerk, das auf der diskreten Texteingabe konditioniert ist, um die variationelle Verteilung bereitzustellen. Wir validieren dieses Rahmenwerk anhand zweier sehr unterschiedlicher Textmodellierungsanwendungen: generativer Dokumentenmodellierung und überwachter Fragebeantwortung. Unser neuronales variationelles Dokumentenmodell kombiniert eine kontinuierliche stochastische Dokumentendarstellung mit einem bag-of-words-generativen Modell und erreicht die niedrigsten gemeldeten Perplexitäten auf zwei Standardtestkorpora. Das neuronale Antwortselektionsmodell verwendet eine stochastische Darstellungsschicht innerhalb eines Aufmerksamkeitsmechanismus, um die Semantik zwischen einer Frage-Antwort-Paar zu extrahieren. Bei zwei Fragebeantwortungsbenchmarks übertreffen dieses Modell alle bisher veröffentlichten Benchmarks.请注意，这里的“法语”应为“德语”，因此我已按照德语的标准进行了翻译。希望这能符合您的要求。