リーディング・ライク・プログラム・エクスキューター

自然言語における推論は、研究コミュニティが長年目指してきた目標である。しかし、既存の言語モデルが推論能力において不十分であることが、多くの研究で示されている。この課題に対処するため、本研究では新しい推論事前学習パラダイム「POET」を提案する。POETは、プログラムとその実行結果を用いて言語モデルを事前学習させることで、データ駆動型のアプローチにより、プログラム実行器が保有する推論知識を言語モデルが獲得可能にする。POETは概念的に単純であり、さまざまな種類のプログラム実行器によって実装可能である。本論文では、POET-MathおよびPOET-Logicという2つの簡易な実装と、より複雑なPOET-SQLという実装を提示する。6つのベンチマークにおける実験結果から、POETが自然言語推論、特に数値推論、論理推論、マルチホップ推論においてモデル性能を顕著に向上させることを示した。POETは推論能力強化のための事前学習の新たな道を開いたものであり、今後の推論研究、特にプログラム実行器を活用した推論の発展に貢献できることを期待する。