2ヶ月前

形から機能を見出す:オープンボキャブラリーワード表現のための構成的キャラクタモデル

Wang Ling; Tiago Luís; Luís Marujo; Ramón Fernandez Astudillo; Silvio Amir; Chris Dyer; Alan W. Black; Isabel Trancoso
形から機能を見出す:オープンボキャブラリーワード表現のための構成的キャラクタモデル
要約

私たちは、双方向LSTMを用いて文字を組み合わせて単語のベクトル表現を構築するモデルを紹介します。従来の各単語タイプに独立したベクトルを持つ単語表現モデルと比較して、私たちのモデルは各文字タイプに対して1つのベクトルと、組み合わせモデルの固定パラメータセットのみが必要です。このモデルのコンパクトさだけでなく、言語における形態と機能の関係が任意であることにもかかわらず、「組み合わせ」された単語表現は言語モデリングや品詞タグ付けにおいて最先端の結果を示しています。従来の基準と比較して、特に形態学的に豊かな言語(例:トルコ語)での利点が顕著です。