ERNIE-4.5-21B-A3B-Thinking：轻量化模型推理能力再升级

一、教程简介

ERNIE-4.5-21B-A3B-Thinking 是由百度文心一言团队于 2025 年 9 月的发布「思考版」轻量级推理模型。 ERNIE-4.5-21B-A3B-Thinking 采用了混合专家（MoE）架构，总参数规模达 21B，每个 token 激活 3B 参数，通过指令微调及强化学习训练。 ERNIE-4.5-21B-A3B-Thinking 是在 ERNIE-4.5-21B-A3B 基础上训练的深度思考模型，支持 128K 的上下文窗口，适用于需要长上下文的复杂推理任务。该模型不仅在逻辑推理、数学、科学，代码与文本生成等需要人类专家的任务上实现了显著提升，还具备高效的工具调用能力，能够支持复杂任务的自动化处理。相关论文成果为「ERNIE4.5 Technical Report」。

该教程算力资源采用单卡 RTX A6000 。

二、效果展示

三、运行步骤

1. 启动容器

若不显示「模型」，这表示模型正在初始化，由于模型较大，请等待约 3-4 分钟后刷新页面。

2. 使用步骤

四、交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓

引用信息

本项目引用信息如下：

@misc{ernie2025technicalreport,
      title={ERNIE 4.5 Technical Report},
      author={Baidu-ERNIE-Team},
      year={2025},
      primaryClass={cs.CL},
      howpublished={\url{https://ernie.baidu.com/blog/publication/ERNIE_Technical_Report.pdf}}
}