11日前
vONTSS:最適輸送に基づくvMFを用いた半教師付きニューラルトピックモデリング
Weijie Xu, Xiaoyu Jiang, Srinivasan H. Sengamedu, Francis Iannacci, Jinjin Zhao

要約
最近、変分オートエンコーダーにインスパイアされたニューラルトピックモデル(NTM)は、多くの研究関心を呼びかけてきた。しかし、人間の知識をモデルに組み込むという課題により、実世界での応用は限定的である。本研究では、von Mises-Fisher(vMF)分布に基づく変分オートエンコーダーと最適輸送(optimal transport)を用いた、半教師あり型ニューラルトピックモデリング手法vONTSSを提案する。トピックごとに少数のキーワードが与えられた場合、vONTSSは半教師あり設定下で潜在的なトピックを生成し、トピックとキーワードの整合性およびトピック分類の精度を最適化する。実験の結果、vONTSSは従来の半教師ありトピックモデリング手法に比べ、分類精度とトピックの多様性において優れた性能を示した。さらに、vONTSSは無教師学習設定でも利用可能であり、定量的および定性的な実験により、最近のNTMと比較して複数の観点で優れた結果を達成している。特に、標準ベンチマークデータセット上において、vONTSSは高密度かつ意味的に整合性の高いトピックを発見できる。また、最新の弱教師ありテキスト分類手法と同等の分類性能を達成しつつ、その処理速度は著しく高速である。さらに、最適輸送損失関数と交差エントロピー損失関数がグローバル最小値において等価であることを理論的に証明した。