要約
トランスフォーマー・モデルは、機械読解タスクにおいて著しい進歩を遂げていますが、入力シーケンスに明示的な知識が欠けているため、複雑な推論タスクの処理では未だ不足しています。この制約に対処するため、最近の多くの研究ではモデルに外部知識を注入することを提案しています。しかし、関連する外部知識を選択し、その利用可能性を確保し、さらに処理ステップを必要とする点は依然として課題となっています。本論文では、外部知識に依存せずに異種グラフから導き出された推論知識をトランスフォーマー・アーキテクチャに統合する新しい注意パターンを提案します。提案される注意パターンには3つの主要な要素が含まれています：単語トークンに対するグローバル-ローカル注意、グラフ上で接続されているトークンに対して強い注意を示すエンティティトークンに対するグラフ注意（接続されていないトークンとは対照的に）、そして各エンティティトークンと単語トークン間の関係の種類の考慮です。これにより、関係がある場合に2つ之間の最適な注意が得られます。このパターンは特別な相対位置ラベルと組み合わされ、LUKEのエンティティ認識自己注意メカニズムと統合することが可能となります。実験結果は、我々のモデルがReCoRD（常識推論に重点を置いたデータセット）およびWikiHop（マルチホップ推論課題に焦点を当てたデータセット）という2つの異なるデータセットで最先端のLUKE-Graphモデルと基準となるLUKEモデル双方を超えることを確認しています。