Ollama と Open WebUI を使用して Mixtral:7B-v0.3 モデルをデプロイする

チュートリアルの紹介

このチュートリアルは、Ollama + Open WebUI のワンクリック実行パッケージです。以下の手順に従ってコマンドを入力し、ワンクリックで大規模モデル Mixtral:7b v0.3 を実行します。

Mistral:7B-v0.2 と比較して、Mistral:7B-v0.3 には次の利点があります。

• 語彙が 32000 から 32768 に拡張されました
• v3トークナイザーをサポート
• 関数呼び出しのサポート

モデルは公共スペースに配置されており、個人の保管スペースを占有しません。

以下の内容に従ってOllamaと0pen Webuiをそれぞれ起動後、右側の「APIアドレス」を使用してご利用ください。

実行メソッド

1. オラマをダウンロード

curl -fsSL https://ollama.com/install.sh | sh

2.オラマを開始する

OLLAMA_MODELS=/openbayes/input/input0 ollama serve

3. 新しいターミナルを作成し、Open Webui を起動します

cd open-webui
OLLAMA_MODELS=/openbayes/input/input0 bash backend/start.sh

4. ページを開く

1. 右側の API アドレスをコピーしてブラウザに貼り付け、Open Webui ページを開きます

2. admin@example.com / adminadmin を使用してログインするだけです

3. モデルを選択したらすぐに使用可能