HyperAIHyperAI

Command Palette

Search for a command to run...

事前学習言語モデルにおける関係抽出タスク向けのダウンストリームモデル設計

Cheng Li Ye Tian

概要

近年の情報抽出分野において、深層ニューラルネットワークに基づく教師あり関係抽出手法は重要な役割を果たしている。しかし、現在のところ、複雑な関係が存在するため、その性能は十分な水準に達していない。一方で、最近提案された事前学習言語モデル(PLM)は、下流タスクのモデルと組み合わせて微調整(fine-tuning)を行うことで、自然言語処理の多様なタスクにおいて顕著な成果を上げている。しかし、PLMの元々の標準的なタスクには関係抽出タスクは含まれていない。本研究では、PLMが関係抽出問題にも活用可能であると考えており、複雑な関係に対処するためには、特別に設計された下流タスクモデルや損失関数の構築が不可欠であると認識している。本論文では、PLMの下流モデルとして機能する新たなネットワークアーキテクチャと特化した損失関数を提案する。実験の結果、本手法は複数の公開関係抽出データセットにおいて、現在の最良ベースラインモデルを顕著に上回ることが確認された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
事前学習言語モデルにおける関係抽出タスク向けのダウンストリームモデル設計 | 記事 | HyperAI超神経