使用 Ollama 和 Open WebUI 部署 Llama3-70B
教程简介
该教程为 Ollama + Open WebUI 一键运行包，只需按照下文步骤输入命令即可一键运行大模型 Llama3 70B 。
按照下文的「运行方法」分别启动 Ollama 和 0pen Webui 后，在右侧使用「API 地址」就可以使用了。由于该模型规模较大，Ollama 加载模型的过程会较为缓慢，请保持耐心静候。 在首次使用时，也就是首次向大模型输入提示词（prompt）时，Ollama 才会正式开始加载模型，因此第一个问题大概需要等待 3 分钟左右的时间，之后模型的回应则会越来越快。
Ollama 和 Open WebUI 简介
随着模型规模的不断增大，如何有效地部署这些大型模型已经成为一项挑战。 Ollama 和 Open WebUI 是两个非常实用的工具，它们分别提供了强大的后端模型管理和前端界面交互功能。通过结合使用这两个工具，能够更轻松地完成大型模型的部署和管理任务。
模型简介
模型对话示例如下
该模型有两种大小的型号：8B 和 70B 。 8B 用于在消费级 GPU 上高效部署和开发，70B 用于大规模 AI 原生应用程序。
Llama3 为 Llama 系列开放式生成 AI 模型的最新产品，该模型比 Llama 2 和其他公开可用的模型有了很大的改进：
- 在比 Llama 2 大七倍的数据集上进行训练；
- 支持 8K 长文本；
- 具有 128K token 的词汇量，可以更有效地编码语言。
该模型已放在公共空间里，不占用个人的存储空间。
运行方法
新建一个终端启动 Ollama
OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve
再新建一个终端启动 Open Webui
bash /openbayes/input/input1/open-webui/backend/start.sh
打开页面
- 在右侧复制 API 地址，粘贴到浏览器打开 Open Webui 页面
- 通过 admin@example.com / adminadmin 登录
