使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct
教程简介
该教程为 Ollama + Open WebUI 一键运行包，只需按照下文步骤输入命令即可一键运行大模型 Llama3 8B-Instruct 。
Llama 3 8B-Instruct 为 Llama 系列开放式生成 AI 模型的最新产品，Llama 3 比 Llama 2 和其他公开可用的模型有了很大的改进：
- 在比 Llama 2 大七倍的数据集上进行训练；
- 支持 8K 长文本；
- 具有 128K token 的词汇量，可以更有效地编码语言。
该模型已放在公共空间里，不占用个人的存储空间。
按照下面的内容分别启动 Ollama 和 Open WebUI 后，在右侧使用「API 地址」就可以使用了。
运行方法
新建一个终端启动 Ollama
OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve
再新建一个终端启动 Open Webui
bash /openbayes/input/input1/open-webui/backend/start.sh
打开页面
- 在右侧复制 API 地址，粘贴到浏览器打开 Open WebUI 页面
- 通过 admin@example.com / adminadmin 登录
