用 Ollama 和 Open WebUI 部署 Mixtral:7B-v0.3 模型

教程简介

该教程为 Ollama + Open WebUI 一键运行包，只需按照下文步骤输入命令即可一键运行大模型 Mixtral:7b v0.3 。

相比于 Mistral:7B-v0.2 , Mixtral:7B-v0.3 具有以下优点：

• 词汇量从 32000 扩展到 32768
• 支持 v3 分词器
• 支持函数调用

该模型已放在公共空间里，不占用个人的存储空间。

按照下面的内容分别启动 Ollama 和 0pen Webui 后，在右侧使用「API 地址」就可以使用了。

运行方法

1. 下载 Ollama

curl -fsSL https://ollama.com/install.sh | sh

2. 启动 Ollama

OLLAMA_MODELS=/openbayes/input/input0 ollama serve

3. 新建一个终端启动 Open Webui

cd open-webui
OLLAMA_MODELS=/openbayes/input/input0 bash backend/start.sh

4. 打开页面

1. 在右侧复制 API 地址，粘贴到浏览器打开 Open Webui 页面

2. 使用 admin@example.com / adminadmin 登录即可

3. 选择模型后即可使用