2ヶ月前

事前学習済みユニットとランダムユニットの共同学習による品詞タギングのドメイン適応

Sara Meftah; Youssef Tamaazousti; Nasredine Semmar; Hassane Essafi; Fatiha Sadat
事前学習済みユニットとランダムユニットの共同学習による品詞タギングのドメイン適応
要約

ニューラルネットワークのファインチューニングは、豊富なリソースを持つドメインから乏しいリソースを持つドメインへ有用な知識を転送するために広く使用されています。標準的なファインチューニング手法では、同一のアーキテクチャを使用してソース問題とターゲット問題が訓練されます。新しいドメインに適応する能力があるものの、事前学習されたユニットはターゲット固有の珍しいパターンを学習することが困難です。本論文では、ターゲットネットワークに正規化され、重み付けされ、ランダムに初期化されたユニットを追加することで、より良い適応を達成しつつも貴重なソース知識を維持できる方法を提案します。私たちの実験結果は、ソーシャルメディアテキスト(ツイートドメイン)の品詞タギングにおいて、3つの一般的に使用されるデータセットで最先端の性能を達成していることを示しています。

事前学習済みユニットとランダムユニットの共同学習による品詞タギングのドメイン適応 | 最新論文 | HyperAI超神経