17日前

事前学習言語モデルにおける関係抽出タスク向けのダウンストリームモデル設計

Cheng Li, Ye Tian
事前学習言語モデルにおける関係抽出タスク向けのダウンストリームモデル設計
要約

近年の情報抽出分野において、深層ニューラルネットワークに基づく教師あり関係抽出手法は重要な役割を果たしている。しかし、現在のところ、複雑な関係が存在するため、その性能は十分な水準に達していない。一方で、最近提案された事前学習言語モデル(PLM)は、下流タスクのモデルと組み合わせて微調整(fine-tuning)を行うことで、自然言語処理の多様なタスクにおいて顕著な成果を上げている。しかし、PLMの元々の標準的なタスクには関係抽出タスクは含まれていない。本研究では、PLMが関係抽出問題にも活用可能であると考えており、複雑な関係に対処するためには、特別に設計された下流タスクモデルや損失関数の構築が不可欠であると認識している。本論文では、PLMの下流モデルとして機能する新たなネットワークアーキテクチャと特化した損失関数を提案する。実験の結果、本手法は複数の公開関係抽出データセットにおいて、現在の最良ベースラインモデルを顕著に上回ることが確認された。