要約
現在の最先端の関係抽出手法は、通常、前処理ステップで明示的に計算される一連の語彙的、構文的、および意味的な特徴に依存しています。特徴抽出モデルの学習には追加の注釈付き言語リソースが必要であり、これは新しい言語への関係抽出の適用性と移植性を大幅に制限します。また、前処理は誤りの新たな原因を導入します。これらの制限に対処するために、私たちはTRE（Transformer for Relation Extraction）を導入します。これはOpenAIが開発した生成型事前学習トランスフォーマー [Radford et al., 2018] を拡張したものです。TREは、以前の関係抽出モデルとは異なり、明示的な言語特徴ではなく、事前に学習された深層言語表現を使用して関係分類を支援し、自己注意機構を持つトランスフォーマーarchitecture（アーキテクチャ）を組み合わせてエンティティ参照間の長距離依存関係を効果的にモデル化します。TREは非監督的事前学習によって平文コーパスから暗黙的な言語特徴のみを学習し、その後関係抽出タスクに対して学習済み言語表現を微調整することで利用可能です。TREはTACREDおよびSemEval 2010 Task 8データセットにおいて新しい最先端の結果を得ており、それぞれテストF1スコアが67.4と87.1となっています。さらに、サンプル効率性における著しい向上が観察されました。トレーニング例のわずか20%しか使用せずに、TREはベースラインやTACREDデータセット全体からゼロから学習したモデルと同等の性能を達成しました。私たちは訓練済みモデル、実験結果、およびソースコードをオープンソース化します。