一键部署 Phi-3.5-mini-instruct

教程简介

Phi-3.5-mini-instruct 是微软于 2024 年推出的 Phi-3.5 系列中的一个轻量级模型，专为计算资源有限的环境设计，拥有 38 亿参数。它支持 128K Token 的上下文长度，适合执行代码生成、数学问题求解和基于逻辑的推理等任务。该模型在多语言和多轮对话任务中表现出色，并在 RepoQA 基准测试中超越了同等级的其他模型，如 Llama-3.1-8B-instruct 和 Mistral-7B-instruct 。 Phi-3.5-mini-instruct 使用 512 个 H100-80G GPU 进行了训练，训练周期为 10 天，训练数据包含 3.4 万亿 Token 。

Phi-3.5-mini-instruct 模型在设计时考虑了多种使用场景，包括但不限于内存或计算资源受限的环境、对延迟敏感的场景以及需要强推理能力（尤其是代码、数学和逻辑方面）的应用。它支持多种语言，包括中文，并且已经针对中文场景进行了增强，尽管模型大小有限，可能会有一些事实错误，但可以通过结合搜索等技术来降低错误率。

该教程使用单卡 4090 即可启动。

运行步骤

1. 克隆并启动容器后点击 API 地址即可进入 web 界面

2. 与模型进行对话