Command Palette

Search for a command to run...

4ヶ月前

文字ベースの単語分割への単語アテンションの組み込み

{Shohei Higashiyama Masao Utiyama Yoshiaki Oida Yohei Sakamoto Masao Ideuchi Eiichiro Sumita Isaac Okada}

文字ベースの単語分割への単語アテンションの組み込み

要約

ニューラルネットワークモデルは、特徴工学の手間を最小限に抑えることができる点から、特に中国語における単語分割に積極的に応用されてきた。代表的な分割モデルは、正確な推論を実現するための文字ベースモデルと、単語レベルの情報を活用するための単語ベースモデルに分類される。本研究では、両モデルの利点を活かすために、単語情報を活用する文字ベースモデルを提案する。本モデルは、アテンション機構に基づき、ある文字に対して複数の候補単語の重要性を学習し、その情報を分割決定に活用する。実験の結果、日本語および中国語のベンチマークデータセットにおいて、既存の最先端モデルを上回る性能を達成した。

ベンチマーク

ベンチマーク方法論指標
japanese-word-segmentation-on-bccwjWord Attention
F1-score (Word): 0.9893

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
文字ベースの単語分割への単語アテンションの組み込み | 論文 | HyperAI超神経