平安スマートヘルスと上海交通大学によるCOIN共有タスク：事前学習された言語モデルおよび常識知識を活用した機械読解タスク

COIN（自然言語処理における共通知識推論）ワークショップの共有タスクを解決するためには、機械読解の性能を単なるテキストマッチングの範囲を超えて向上させるために、共通知識の表現方法がもたらす影響を検討する必要がある。低次元空間における知識表現には、主に以下の2つのアプローチがある。1つ目は、大規模な非教師付きテキストコーパスを用いて固定型または文脈依存型の言語表現を事前学習する方法である。2つ目は、知識を明示的に知識グラフ（Knowledge Graph: KG）として表現し、そのKG内の事実をモデルで表現できるように学習する方法である。本研究では、以下の2つのアプローチを実験した。（a）小規模なタスクデータセットに対して、類似タスクのデータセットを活用して事前学習済み言語モデルの微調整を改善する方法、および（b）知識グラフの分布表現を、事前学習済み言語モデルの表現に単純な連結やマルチヘッドアテンションを用いて統合する方法である。実験の結果、以下のことが明らかになった。（a）タスク1において、RACE（Lai et al., 2017）やSWAG（Zellers et al., 2018）といった大規模なデータセットで最初に微調整を行い、その後ターゲットタスクで再度微調整することで、性能が著しく向上することが確認された。（b）タスク2において、共通知識の知識グラフとしてWordNet（Miller, 1995）をBERTモデル（Devlin et al., 2018）に組み込むことは有効であることがわかったが、より強力な事前学習モデルであるXLNet（Yang et al., 2019）においては、同様の知識グラフの統合が性能を低下させる結果となった。本研究の提案手法は、両方の共有タスクの公式テストデータにおいて、他のすべての提出物を上回る最先端の性能を達成した。