LUKE-Graph：穴埋め形式読解のためのゲート付き関係性グラフアテンションを備えたTransformerベースのアプローチ

先行知識を組み込むことで、クローズ形式の機械読解における既存の事前学習モデルの性能向上が可能となり、近年の研究において新たなトレンドとなっている。特に、多数の既存モデルは外部の知識グラフ（KG）と、BERTをはじめとするTransformerベースのモデルを統一的なデータ構造に統合している。しかし、KG内から意味が曖昧なエンティティの中から最も関連性の高いものを選定し、最適な部分グラフを抽出するという課題は依然として残っている。本論文では、外部KGを一切使用せずに、ドキュメント内エンティティ間の直感的な関係性に基づいて異種グラフ（heterogeneous graph）を構築するLUKE-Graphモデルを提案する。その後、事前学習済みのLUKEモデルが生成する文脈表現と、関係性を考慮したグラフ推論情報を、関係グラフ注意（Relational Graph Attention, RGAT）ネットワークを用いて融合する。これにより、LUKEのエンティティに敏感な表現と、グラフモデルによる関係性に敏感な表現の双方の利点を活かすことができる。さらに、グラフ畳み込み演算に際して質問情報の影響を制御するゲーティング機構をRGATに導入したGated-RGATを提案する。このアプローチは、人間の推論プロセスと類似しており、質問の内容に基づいて最適なエンティティ候補を選択するという点で共通する。実験の結果、LUKE-Graphは常識的推論を要するReCoRDデータセットにおいて、最先端の性能を達成した。