一键部署 DeepSeek-V2-Lite-Chat
该教程为 DeepSeek-V2-Lite-Chat 一键部署 Demo, 只需克隆并启动该容器，直接复制生成的 API 地址，即可对模型进行推理体验。
1. 模型简介
DeepSeek-V2，这是一种强大的专家混合 (MoE) 语言模型，其特点是经济的训练和高效的推理。它总共包含 236B 个参数，其中每个令牌激活 21B 个参数。与 DeepSeek 67B 相比，DeepSeek-V2 实现了更强的性能，同时节省了 42.5% 的训练成本，减少了 93.3% 的 KV 缓存，并将最大生成吞吐量提升至 5.76 倍。
2. 评测结果
| Benchmark | Domain | QWen1.5 72B Chat | Mixtral 8x22B | LLaMA3 70B Instruct | DeepSeek-V1 Chat (SFT) | DeepSeek-V2 Chat (SFT) | DeepSeek-V2 Chat (RL) |
|---|---|---|---|---|---|---|---|
| MMLU | English | 76.2 | 77.8 | 80.3 | 71.1 | 78.4 | 77.8 |
| BBH | English | 65.9 | 78.4 | 80.1 | 71.7 | 81.3 | 79.7 |
| C-Eval | Chinese | 82.2 | 60.0 | 67.9 | 65.2 | 80.9 | 78.0 |
| CMMLU | Chinese | 82.9 | 61.0 | 70.7 | 67.8 | 82.4 | 81.6 |
| HumanEval | Code | 68.9 | 75.0 | 76.2 | 73.8 | 76.8 | 81.1 |
| MBPP | Code | 52.2 | 64.4 | 69.8 | 61.4 | 70.4 | 72.0 |
| LiveCodeBench (0901-0401) | Code | 18.8 | 25.0 | 30.5 | 18.3 | 28.7 | 32.5 |
| GSM8K | Math | 81.9 | 87.9 | 93.2 | 84.1 | 90.8 | 92.2 |
| Math | Math | 40.6 | 49.8 | 48.5 | 32.6 | 52.7 | 53.9 |
3. 如何使用
本教程已经将模型与环境部署完毕，大家可根据教程指引直接使用大模型进行推理对话。具体教程如下：
第一步：克隆启动容器
克隆启动容器成功后，看到该界面，稍等十几秒加载模型后复制右侧 API 地址到浏览器 
第二步：进入网页
进入网页后即可与大模型进行对话（相关参数已经调试好，无需调整） 
探讨交流
🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【教程交流】入群探讨各类技术问题、分享应用效果↓
