用 Ollama 和 Open WebUI 部署大模型

教程简介

该教程为 Ollama + Open WebUI 一键运行包，只需按照下文步骤输入命令即可一键运行大模型。

目前包含的模型有：

1. qwen 1.5 14b
2. qwen 1.5 32b
3. llava 1.6 34b 该模型为多模态模型

以上三个模型放在公共空间里，不占用个人的存储空间。

按照下面的内容分别启动 ollama 和 open webui 后，在右侧使用「API 地址」就可以使用了。

视频教程参考：不用安装，一键克隆运行大模型啦 – 在云 GPU 上把 ollama 和 open webui 跑起来

启动 ollama

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

启动 open webui

bash /openbayes/input/input1/open-webui/backend/start.sh

打开页面

1. 在右侧复制 API 地址，粘贴到浏览器打开 open webui 页面.

2. 通过 admin@example / adminadmin 登录

增加新的模型

在命令行通过命令 ./ollama pull  可以下载新的模型。新的模型会占用自己的空间。