一键部署 Mistral-Nemo-Instruct-2407

教程简介

该教程为一键部署 Mistral-Nemo-Instruct-2407，相关环境和依赖已经安装完毕，只需克隆即可推理体验。 Mistral-Nemo-Instruct-2407 是 Mistral AI 和 NVIDIA 联合开源的 Mistral-Nemo-Base-2407 指令微调版本，其性能明显优于现有较小或类似尺寸的模型。 Mistral NeMo 参数量为 120 亿（12B），上下文窗口为 128k，其推理、世界知识和编码准确性在同类规模中处于领先地位。由于 Mistral NeMo 依赖于标准架构，因此易于使用，可在任何使用 Mistral 7B 的系统中成为替代品。

模型特点

• 使用 128k 上下文窗口进行训练
• 经过大量多语言和代码数据训练
• Mistral 7B 的直接替代品
• 在 Apache 2.0 许可证下发布了预训练的基本检查点和指令微调检查点，允许商用。

运行方法

1. 克隆并启动容器

2. 待容器「运行中」时，打开「API 地址」即可推理体验模型

3. 点击下方输入文本提示，点击 Submit

4. 生成结果