要約
数学的推論は、人間の知能における核心的な能力であり、その領域にはいくつかの一意な課題が存在します。私たちは数学の問題を理解し解決する際、主に経験や証拠に基づくのではなく、法則、公理、および記号操作規則を推論し、学習し、活用することによって行います。本論文では、ニューラルアーキテクチャや類似システムの評価（そして最終的には設計）のために新しい課題を提示します。具体的には、算術、代数、確率論、微積分など数学の問題を含む連続的な質問と回答からなる自由形式のテキスト入出力フォーマットのタスクスイートを開発しました。数学領域の構造的な性質により、異なるアーキテクチャの能力と失敗モードを明確に示すための訓練セットとテストセットを設計することが可能となります。また、知識と学習したプロセスを組み合わせて関連付ける能力も評価できます。データ生成プロセスとその将来の拡張可能性について説明した後、最も強力なシーケンス・ツー・シーケンスアーキテクチャの2つの主要クラスからモデルを選んで包括的な分析を行いました。その結果、これらのモデルが数学問題を解決し知識を一般化する能力において顕著な違いが見られました。