使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct

教程简介

该教程为 Ollama + Open WebUI 一键运行包，只需按照下文步骤输入命令即可一键运行大模型 Llama3 8B-Instruct 。

Llama 3 8B-Instruct 为 Llama 系列开放式生成 AI 模型的最新产品，Llama 3 比 Llama 2 和其他公开可用的模型有了很大的改进：

• 在比 Llama 2 大七倍的数据集上进行训练；
• 支持 8K 长文本；
• 具有 128K token 的词汇量，可以更有效地编码语言。

该模型已放在公共空间里，不占用个人的存储空间。

按照下面的内容分别启动 Ollama 和 Open WebUI 后，在右侧使用「API 地址」就可以使用了。

运行方法

新建一个终端启动 Ollama

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

再新建一个终端启动 Open Webui

bash /openbayes/input/input1/open-webui/backend/start.sh

打开页面

1. 在右侧复制 API 地址，粘贴到浏览器打开 Open WebUI 页面

2. 通过 admin@example.com / adminadmin 登录