単語の内部構造をよりよく学習してシーケンスラベリングを行う

文字ベースのニューラルモデルは、最近多くの自然言語処理（NLP）タスクにおいて非常に有用であることが証明されています。しかし、文と単語の表現を学習する手法の間には洗練度の差が存在しています。文の表現を学習するためのほとんどの文字モデルは深層で複雑である一方、単語の表現を学習するためのモデルは浅層で単純です。また、文字埋め込みを学習する研究が進んでいるにもかかわらず、キャラクターから単語への表現を捉える最適なアーキテクチャがまだ明確になっていません。これらの問題に対処するために、まず単語と文の表現を学習する手法間の差異について調査を行いました。最先端の畳み込みモデルの異なる種類について詳細な実験と比較を行い、その構成要素の長所と短所も検討しました。さらに、IntNetという新しいアーキテクチャを提案します。IntNetは、ダウンサンプリングを行わない漏斗型の広い畳み込みニューラルネットワークであり、限られた教師あり訓練コーパスから文字を組み合わせて単語の内部構造表現を学習することを目指しています。提案したモデルについては、固有表現認識や品詞タグ付け、構文チャンキングなど6つのシーケンスラベリングデータセットで評価を行いました。詳細な分析結果によると、IntNetは他の文字埋め込みモデルよりも著しく優れた性能を示し、外部知識やリソースに依存せずに新たな最先端性能を達成しています。