HyperAIHyperAI

Command Palette

Search for a command to run...

埋め込み空間におけるトピックモデリング

Changyou Chen Tong Zhang Kevin Murphy

概要

トピックモデリングは、文書を分析して意味のある単語のパターンを学習する手法です。しかし、既存のトピックモデルは、大規模で長尾分布を持つ語彙に対して解釈可能なトピックを学習することができません。この問題を解決するために、私たちは埋め込みトピックモデル(Embedded Topic Model: ETM)を開発しました。ETMは、伝統的なトピックモデルと単語埋め込みを組み合わせた文書の生成モデルです。特に、各単語はカテゴリカル分布によってモデル化され、その自然パラメータは単語埋め込みと割り当てられたトピックの埋め込みとの内積となります。ETMの適合のために、私たちは効率的なアマチュア変分推論アルゴリズムを開発しました。ETMは、希少な単語やストップワードを含む大規模な語彙でも解釈可能なトピックを見出すことができます。また、潜在ディリクレ配分(Latent Dirichlet Allocation: LDA)などの既存の文書モデルよりも、トピックの品質と予測性能において優れています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています