2ヶ月前

機械読解能力の向上に一般読解戦略を活用する

Kai Sun; Dian Yu; Dong Yu; Claire Cardie
機械読解能力の向上に一般読解戦略を活用する
要約

読解戦略は、特に適切な先行知識を持たない読者にとって理解度を向上させることが示されています。人間の読者が知識を蓄積する過程が時間のかかるものであるように、事前学習を通じて深層言語モデルに豊富な一般領域の知識を付与することもリソースを必要とします。認知科学で特定された読解戦略に着想を得て、限られた計算資源(事前学習済みモデルと固定数の訓練インスタンス)のもとで、非抽出型機械読解理解(MRC)を改善するための3つの一般的な戦略を提案します。(i) 元の順序と逆順序の両方を考える「往復読み」(BACK AND FORTH READING)、(ii) 問題および候補解答に関連するトークンのテキスト埋め込みに学習可能な埋め込みを追加する「ハイライト」(HIGHLIGHTING)、(iii) 監督なしで直接テキストから練習問題と候補解答を生成する「自己評価」(SELF-ASSESSMENT)です。Radfordら(2018)によって提案された事前学習済み言語モデルを使用し、最大規模の一般領域選択肢付きMRCデータセットRACE上でこれらの提案戦略による微調整を行った結果、戦略を使用せずにRACE上で微調整した同じ事前学習済みモデルよりも5.8%の絶対精度向上が得られました。さらに、得られたモデルを目的とするMRCタスクに対して微調整したところ、異なる6つの代表的な非抽出型MRCデータセット(ARC, OpenBookQA, MCTest, SemEval-2018 Task 11, ROCStories, MultiRC)において、従来の最先端アプローチよりも平均して6.2%の絶対精度向上が見られました。これらの結果は、提案した戦略の有効性およびその戦略を取り入れた微調整済みモデルの一貫性と汎用適用性を示しています。核心的なコードは https://github.com/nlpdata/strategy/ で公開されています。