一键部署 DeepSeek-V2-Lite-Chat

该教程为 DeepSeek-V2-Lite-Chat 一键部署 Demo, 只需克隆并启动该容器,直接复制生成的 API 地址,即可对模型进行推理体验。

1. 模型简介

DeepSeek-V2,这是一种强大的专家混合 (MoE) 语言模型,其特点是经济的训练和高效的推理。它总共包含 236B 个参数,其中每个令牌激活 21B 个参数。与 DeepSeek 67B 相比,DeepSeek-V2 实现了更强的性能,同时节省了 42.5% 的训练成本,减少了 93.3% 的 KV 缓存,并将最大生成吞吐量提升至 5.76 倍。

2. 评测结果

BenchmarkDomainQWen1.5 72B ChatMixtral 8x22BLLaMA3 70B InstructDeepSeek-V1 Chat (SFT)DeepSeek-V2 Chat (SFT)DeepSeek-V2 Chat (RL)
MMLUEnglish76.277.880.371.178.477.8
BBHEnglish65.978.480.171.781.379.7
C-EvalChinese82.260.067.965.280.978.0
CMMLUChinese82.961.070.767.882.481.6
HumanEvalCode68.975.076.273.876.881.1
MBPPCode52.264.469.861.470.472.0
LiveCodeBench (0901-0401)Code18.825.030.518.328.732.5
GSM8KMath81.987.993.284.190.892.2
MathMath40.649.848.532.652.753.9

3. 如何使用

本教程已经将模型与环境部署完毕,大家可根据教程指引直接使用大模型进行推理对话。具体教程如下:

第一步:克隆启动容器

克隆启动容器成功后,看到该界面,稍等十几秒加载模型后复制右侧 API 地址到浏览器 

第二步:进入网页

进入网页后即可与大模型进行对话(相关参数已经调试好,无需调整) 

探讨交流

🖌️ 如果大家看到优质项目,欢迎后台留言推荐!另外,我们还建立了教程交流群,欢迎小伙伴们扫码备注【教程交流】入群探讨各类技术问题、分享应用效果↓