要約
大規模な事前学習済み言語モデル（LM）は、豊富な言語情報を取り込むことが知られている。しかし、数値推論のような高レベルな推論能力は、単一の言語モデル学習目標からでは容易に習得できない。その結果、従来の数値推論モデルは柔軟性に欠ける専用アーキテクチャを採用してきた。本研究では、数値推論が自動データ生成に適していることを示し、大量のデータを生成してマルチタスク学習を行うことで、事前学習済みLMにこの能力を注入可能であることを明らかにする。我々が提案するモデルGenBERTをこのデータ上で事前学習させたところ、DROP評価指標においてF1スコアが49.3から72.3に劇的に向上し、同等規模の最先端モデルと同等の性能を達成した。これは、単純かつ汎用的なエンコーダデコーダアーキテクチャを用いて実現された。さらに、GenBERTは数学文章問題のデータセットに対しても良好な汎化性能を示し、標準的な読解（RC）タスクにおいても高い性能を維持している。本研究のアプローチは、ある能力が自動データ増強に適している場合、大規模な事前学習済みLMにその能力を注入するための一般的な手法を提供する。