使用 Open WebUI 一键部署 Mistral Large 2407 123B

教程及模型简介

该教程是使用 OpenWebUI 一键部署 Mistral-Large-Instruct-2407-AWQ,相关环境和配置已经搭建完成,只需克隆启动容器即可进行推理体验。

Mistral-Large-Instruct-2407-AWQ 是法国人工智能公司 Mistral AI 发布的新一代旗舰 AI 模型,即 Mistral Large 2 。该模型拥有 123B 个参数,具备 128k 的上下文窗口,支持包括中文在内的数十种语言以及 80 多种编程语言,如 Python 、 Java 、 C 、 C++、 JavaScript 和 Bash 等 。 Mistral Large 2 在多语言能力、数学、推理、代码编写等方面都有显著提升,并在 MMLU 上的准确度达到了 84.0% 。

该模型特别注重减少模型的幻觉问题,即避免生成看似合理但实际上不正确或不相关的信息。模型经过训练,当找不到解决方案或没有足够信息提供自信答案时,会承认自己不知道,而不是编造信息 。此外,Mistral Large 2 支持高级函数调用和检索,能够与外部系统、 API 和工具进行无缝交互,并具备推理和数学方面的先进能力。

运行步骤

1. 在教程界面右上角克隆并启动容器后,复制 API 地址至新的页面打开

2. 打开 API 后可以看到以下界面,直接在对话框输入文本即可与大模型进行对话