扩散模型（Diffusion Models, DMs）在图像、音频和视频生成等领域取得了显著进展。然而，其固有的缓慢迭代生成过程仍是制约实际应用的主要瓶颈。近年来，为实现快速采样而提出的一系列算法多从微分方程的角度进行设计。然而，在基于泰勒展开的高阶算法中，由于大规模、高质量训练的神经网络结构复杂，导致得分函数（score function）导数的估计变得难以实现。受此动机驱动，本文提出一种递归差分（Recursive Difference, RD）方法，用于高效计算扩散模型中得分函数的导数。基于RD方法与得分核函数的截断泰勒展开，我们进一步提出了具有收敛阶保证的加速采样算法——SciRE-Solver，显著提升了扩散模型的采样效率。为进一步验证RD方法的有效性，我们还设计了一种基于RD方法与指数积分器（exponential integrator）的变体算法——SciREI-Solver。所提出的基于RD方法的采样算法，在无需额外训练的前提下，相较于现有的训练无关采样方法，在离散时间与连续时间预训练扩散模型上均取得了当前最优（State-of-the-Art, SOTA）的FID（Fréchet Inception Distance）性能，且在不同得分函数评估次数（Number of Function Evaluations, NFE）下均表现优异。尤为突出的是，SciRE-Solver在极低NFE条件下展现出强大潜力：其在仅使用少量NFE的情况下，即可超越部分原始论文中采用不少于1000次NFE所达到的FID性能。例如，在CIFAR-10数据集上，连续时间扩散模型仅需100次NFE即可达到2.40的SOTA FID；离散时间模型仅需84次NFE即可达到3.15的SOTA FID；在CelebA 64×64数据集上，离散时间模型分别以18次和50次NFE实现了2.17（2.02）的SOTA FID。这些结果充分证明了RD方法在提升扩散模型采样效率与生成质量方面的卓越能力。