要約
機械的読解理解（MRC）分野において、SQuADのような多くのタスクで既存のシステムは人間の平均的パフォーマンスをすでに上回っている。しかし、論理的推論に関しては依然として大きな課題が残っている。これまでにいくつかの論理推論向けの手法が提案されてきたが、それらはいずれも極めて複雑な設計を要するか、外部構造に依存しすぎているという問題がある。本論文では、6種類の論理的指標（logical indicators）と論理的に豊富なデータセットであるLGP（LoGic Pre-training）を活用して、事前学習モデルの論理的強化を図る、理解しやすくかつ高い効果を発揮する新たな事前学習タスク「IDOL（InDicator-Oriented Logic Pre-training）」を提案する。IDOLは、論理的推論MRCにおいて最も代表的な2つのベンチマークであるReClorおよびLogiQAで最先端の性能を達成しており、RACEやSQuAD 2.0といった他のMRCベンチマークにも一般化可能であることが実証された。また、GLUEのタスクを用いた評価を通じて、一般的な言語理解能力を維持しつつ、さまざまな事前学習モデルへの適用性も確認された。さらに、大規模言語モデルの時代の初期段階に位置づけ、ChatGPTなどの複数のモデルと比較検証した結果、IDOLが依然としてその優位性を発揮することが明らかになった。