数学的推論能力は、言語モデル（LM）にとって必須の能力とされている。近年の研究では、大規模な言語モデルが数学問題を解く上で驚異的な性能を発揮していることが示されている。この成功は、チェーン・オブ・シンス（CoT）推論能力に起因するとされ、すなわち複雑な問いを段階的な推論の連鎖に分解する能力であるが、このような能力はパラメータ数が非常に多いモデルにのみ顕在化するように見える。本研究では、比較的小規模な言語モデルに多段階推論能力を付与する方法を検討する。我々は、多段階算術問題（Multi-step Arithmetic Tasks）から構成される合成データセットMsATを用いて、言語モデルを継続的に事前学習することで、その能力を注入する手法を提案する。4つの数学的文章問題データセットにおける実験結果から、提案手法が言語モデルの数学的推論能力を効果的に向上させることを確認した。