2ヶ月前

多言語モデルによる組成分散意味論

Karl Moritz Hermann; Phil Blunsom
多言語モデルによる組成分散意味論
要約

私たちは、意味表現の学習に新たな手法を提案します。この手法は、分布仮説を多言語データと結合空間埋め込みに拡張しています。私たちのモデルは並行データを活用し、意味的に同等な文の埋め込みを強く合わせる一方で、異なる文の埋め込み間に十分な距離を保つように学習します。これらのモデルは単語の対応関係や構文情報に依存せず、さまざまな言語に対して成功裏に適用されています。また、この手法を文書レベルでの意味表現の学習にも拡張しました。私たちはこれらのモデルを2つのクロスリンガル文書分類タスクで評価し、従来の最先端技術を上回る結果を得ました。質的分析とピボット効果の研究を通じて、私たちの表現が意味的に妥当であり、並行データなしで言語間の意味的関係を捉えることができることを示しています。(注:「ピボット効果」は「pivoting effects」に対応する日本語表現です。)

多言語モデルによる組成分散意味論 | 最新論文 | HyperAI超神経