测试时使用反射生成模型进行缩放

我们介绍了首个反射生成模型MetaStone-S1，该模型通过自监督过程奖励模型（SPRM）达到了OpenAI o3的性能水平。通过共享主干网络并分别使用特定任务的头部进行下一个标记预测和过程评分，SPRM成功地将策略模型和过程奖励模型（PRM）整合到一个统一的接口中，无需额外的过程注释，减少了超过99%的PRM参数，从而实现高效的推理。配备SPRM后，MetaStone-S1天然适用于测试时间扩展（TTS），并且我们提供了三种基于可控思考长度的推理努力模式（低、中、高）。此外，我们从经验上建立了一条扩展定律，揭示了总思考计算量与TTS性能之间的关系。实验结果表明，我们的MetaStone-S1仅使用320亿参数规模就实现了与OpenAI-o3-mini系列相当的性能。为了支持研究社区，我们已将MetaStone-S1开源至https://github.com/MetaStone-AI/MetaStone-S1。