数学推理被视为语言模型（Language Models, LMs）所必需的能力。近期研究显示，大规模语言模型在解决数学问题方面表现出色。这一成功主要归因于其链式思维（Chain-of-Thought, CoT）推理能力，即能够将复杂问题分解为逐步推理解答的链条。然而，这种能力似乎仅在参数量庞大的模型中才能显现。本文旨在探索如何赋予参数相对较少的语言模型多步推理能力。为此，我们提出通过在由多步算术任务（Multi-step Arithmetic Tasks）构成的合成数据集MsAT上持续预训练语言模型，以注入此类推理能力。在四个数学应用题数据集上的实验结果表明，所提出的方法能有效提升语言模型的数学推理能力。