要約
トピックモデルは、テキストの表現を学習する最も一般的な手法の一つですが、その大きな課題は、トピックモデルの変更が新しい推論アルゴリズムの数学的な導出を必要とする点です。この問題に対処する有望なアプローチとして自動符号化変分ベイズ（Autoencoding Variational Bayes: AEVB）がありますが、実際にはトピックモデルに適用するのが困難でした。私たちは、潜在ディリクレ配分（Latent Dirichlet Allocation: LDA）に対する効果的なAEVBベースの推論手法を提案します。これを「トピックモデル用自動符号化変分推論（Autoencoded Variational Inference For Topic Model: AVITM）」と呼びます。このモデルは、ディリクレ事前分布と成分の消失によって引き起こされるAEVBの問題を解決します。私たちは、AVITMが伝統的な手法と同等の精度を持ちながら、大幅に優れた推論時間を達成することを見出しました。実際、推論ネットワークのおかげで、テストデータに対して変分最適化を行う計算コストを負担する必要がないことが確認できました。また、AVITMはブラックボックスであるため、新しいトピックモデルに容易に適用できます。この点を劇的に示すために、私たちはLDAにおける混合モデルをエキスパートの積み重ね（Product of Experts: PoE）に置き換えた新しいトピックモデル「ProdLDA」を提示します。LDAから一行だけコードを変更することで、ProdLDAはより解釈可能なトピックを生成することが可能であり、これはLDAが収束ギブスサンプリングにより訓練された場合でも同様です。