16日前

Few-Shot Sequence Labeling における分解型メタラーニング

{Chin-Yew Lin, Tiejun Zhao, Börje F. Karlsson, Jieru Lin, Huiqiang Jiang, Qianhui Wu, Tingting Ma}
Few-Shot Sequence Labeling における分解型メタラーニング
要約

少量サンプルシーケンスラベリングは、データが限られる状況下における多くの自然言語理解タスクの一般的な問題定式化であり、モデルがわずかなラベル付き例を用いて新しいタイプに一般化できる能力を要求する。近年の進展は主にメトリックベースのメタラーニングを採用しているが、これには「その他(Other)」クラスの多様なプロトタイプをモデル化する困難さや、ドメインギャップが大きいクラスへの一般化が困難であるという課題がある。これらの課題を克服するため、本研究では、少量サンプルシーケンスラベリングを「少量サンプルメンション検出」と「少量サンプルタイプ分類」の2つのサブタスクに分解し、メタラーニングを用いて逐次的に処理する分解型メタラーニングフレームワークを提案する。具体的には、モデルに依存しないメタラーニング(MAML)を用いて、タイプ間で共有される境界知識をメンション検出モデルが学習できるようにする。検出されたメンションスパンを基に、MAMLを強化したスパンレベルプロトタイプネットワークを活用して少量サンプルタイプ分類を実施する。このようにして、分解型フレームワークは「その他」クラスのプロトタイプを直接モデル化する必要を回避できる。同時に、MAMLアルゴリズムの採用により、サポート例に含まれる知識をより効率的に探索可能となり、本モデルはわずかなラベル付き例を用いて新しいタイプに迅速に適応できる。本フレームワーク下で、2つのサブタスクにそれぞれ独立したモデルを用いる基本実装を検討した。さらに、モデルサイズと推論時間を削減するために、統合型モデルを提案し、リソース制約が厳しい環境でも適用可能なフレームワークを実現した。命名エンティティ認識、スロットタグ付け、イベント検出、品詞タグ付けを含む9つのベンチマークデータセット上で実施した広範な実験の結果、本手法は多様な少量サンプルシーケンスラベリングタスクにおいて、最先端の性能を達成した。