Ollama と Open WebUI を使用して大規模なモデルをデプロイする

チュートリアルの紹介

このチュートリアルは、Ollama + Open WebUI のワンクリック実行パッケージです。以下の手順に従ってコマンドを入力するだけで、ワンクリックで大規模なモデルを実行できます。

現在含まれているモデルは次のとおりです。

1. クウェン 1.5 14b
2. クウェン 1.5 32b
3. llava 1.6 34b このモデルはマルチモーダル モデルです

上記の 3 つのモデルは公共スペースに配置され、個人の保管スペースを占有しません。

以下の内容に従ってollamを起動し、webuiを開いた後、右側の「APIアドレス」を使用してご利用ください。

ビデオチュートリアルのリファレンス:インストールは不要で、ワンクリックで大規模なモデルをクローン作成して実行できます - クラウド GPU で ollam を実行し、webui を開きます

オラマを始める

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

オープンウェブイを開始する

bash /openbayes/input/input1/open-webui/backend/start.sh

ページを開く

1. 右側の API アドレスをコピーし、ブラウザに貼り付けて、WebUI を開くページを開きます。

2. admin@example / adminadmin 経由でログインします

新しいモデルを追加

コマンドラインでコマンドを渡します ./ollama pull  新しいモデルをダウンロードできます。新しいモデルは独自のスペースを占有します。