めったにないほど簡単なのに、なぜか苛立たしい自然言語質問応答

質問応答（QA）に関する既存の文献は、主にアルゴリズムの革新性、データ増強、あるいはXLNetやRoBERTaといったより大規模な事前学習言語モデルに注目している。さらに、QAリーダーボードに掲載されている多くのシステムには、実験の再現が可能となるような研究文書が付随しておらず、実装の再現が困難な場合が多い。本論文では、Attention-over-Attentionを含むこれらのアルゴリズム的構成要素に加え、データ増強およびアンサンブル戦略を組み合わせることで、SQuADなどのベンチマークデータセットにおいて最先端の性能を達成し、人間を上回る結果も得られることを示す。しかし、最近提案されたNatural Questionsベンチマークデータセットにおいて評価した結果、我々が使用したBERTからの転移学習という極めてシンプルなアプローチが、自身の学習例よりも400万件多い例で訓練された従来の最先端システムを1.9 F1ポイント上回ることが明らかになった。さらにアンサンブル戦略を導入することで、この性能は2.3 F1ポイント向上した。