使用 Ollama 和 Open WebUI 部署 Llama3-70B

教程简介

该教程为 Ollama + Open WebUI 一键运行包，只需按照下文步骤输入命令即可一键运行大模型 Llama3 70B 。

按照下文的「运行方法」分别启动 Ollama 和 0pen Webui 后，在右侧使用「API 地址」就可以使用了。由于该模型规模较大，Ollama 加载模型的过程会较为缓慢，请保持耐心静候。 在首次使用时，也就是首次向大模型输入提示词（prompt）时，Ollama 才会正式开始加载模型，因此第一个问题大概需要等待 3 分钟左右的时间，之后模型的回应则会越来越快。

Ollama 和 Open WebUI 简介

随着模型规模的不断增大，如何有效地部署这些大型模型已经成为一项挑战。 Ollama 和 Open WebUI 是两个非常实用的工具，它们分别提供了强大的后端模型管理和前端界面交互功能。通过结合使用这两个工具，能够更轻松地完成大型模型的部署和管理任务。

模型简介

模型对话示例如下

该模型有两种大小的型号：8B 和 70B 。 8B 用于在消费级 GPU 上高效部署和开发，70B 用于大规模 AI 原生应用程序。

Llama3 为 Llama 系列开放式生成 AI 模型的最新产品，该模型比 Llama 2 和其他公开可用的模型有了很大的改进：

在比 Llama 2 大七倍的数据集上进行训练；
支持 8K 长文本；
具有 128K token 的词汇量，可以更有效地编码语言。

该模型已放在公共空间里，不占用个人的存储空间。

运行方法

新建一个终端启动 Ollama

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

再新建一个终端启动 Open Webui

bash /openbayes/input/input1/open-webui/backend/start.sh

打开页面

在右侧复制 API 地址，粘贴到浏览器打开 Open Webui 页面

通过 admin@example.com / adminadmin 登录