2ヶ月前

手作り特徴量の系列ラベリングにおける有用性の評価

Minghao Wu; Fei Liu; Trevor Cohn
手作り特徴量の系列ラベリングにおける有用性の評価
要約

従来の見解では、手作業で生成された特徴量は深層学習モデルにとって冗長であるとされており、これらのモデルはすでにコーパスからテキストの適切な表現を自動的に学習するためです。本研究では、この主張を検証するために、手作業で生成された特徴量を活用する新しい手法を提案し、特徴量オートエンコーダー損失成分を組み込んだ革新的なハイブリッド学習アプローチを取り入れました。評価は固有表現認識(NER)タスクにおいて行われ、品詞、単語形状、 Gazetteers(地名や組織名などのリスト)の手動特徴量を含めることでニューラルCRFモデルの性能が向上することを示しました。CoNLL-2003英語共有タスクにおいて、我々のモデルは $F_1$ スコア91.89を達成し、非常に競争力のある基準モデル群を大幅に上回りました。さらに、オートエンコーディングの重要性についての削除分析を行い、特徴量を入力または出力として単独で使用するよりも優れていることを示しました。また、オートエンコーダー成分を含めることで訓練要件が60%に削減されつつも同じ予測精度が維持できることも示しています。

手作り特徴量の系列ラベリングにおける有用性の評価 | 最新論文 | HyperAI超神経