要約
シーケンスラベリングアーキテクチャは、単語の類似性を捉えるために単語埋め込みを使用しますが、未見または稀な単語を処理する際には性能が低下する傾向があります。本研究では、そのようなモデルに対する文字レベルの拡張について調査し、代替的な単語表現を組み合わせる新しいアーキテクチャを提案します。注意メカニズムを使用することで、モデルは単語レベルまたは文字レベルのコンポーネントからどの程度の情報を使用するかを動的に決定することができます。異なるアーキテクチャを複数のシーケンスラベリングデータセットで評価した結果、文字レベルの拡張がすべてのベンチマークで性能向上に寄与することが確認されました。さらに、提案された注意メカニズムに基づくアーキテクチャは、学習可能なパラメータ数が少ない場合でも最良の結果を示しました。