HyperAIHyperAI

Command Palette

Search for a command to run...

テキスト処理のためのニューラル変分推論

Yishu Miao Lei Yu Phil Blunsom

概要

最近のニューラル変分推論の進歩により、深層潜在変数モデルの再興が見られています。本稿では、テキストの生成モデルおよび条件付きモデルに対する汎用的な変分推論フレームワークを導入します。従来の変分手法は、潜在変数上の扱いにくい分布に対して解析的な近似を導出する一方で、ここでは離散的なテキスト入力に条件付けられた推論ネットワークを構築し、変分分布を提供します。このフレームワークは、生成文書モデリングと監督付き質問応答という非常に異なる2つのテキストモデリングアプリケーションで検証されました。私たちのニューラル変分文書モデルは、連続的な確率的な文書表現と単語の袋(bag-of-words)生成モデルを組み合わせており、2つの標準テストコーパスにおいて報告されている中で最低のパープレキシティ値を達成しています。ニューラル回答選択モデルは、注意機構内に確率的な表現層を用いて質問と回答ペア間の意味関係を抽出します。2つの質問応答ベンチマークにおいて、このモデルはこれまでに発表されたすべてのベンチマークを超える結果を示しました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
テキスト処理のためのニューラル変分推論 | 記事 | HyperAI超神経