Ollama と Open WebUI を使用した Llama3-8B-Instruct のデプロイ

チュートリアルの紹介

このチュートリアルは、Ollama + Open WebUI のワンクリック実行パッケージです。以下の手順に従ってコマンドを入力し、ワンクリックで大型モデル Llama3 8B-Instruct を実行します。

Llama 3 8B-Instruct オープン世代 AI モデルの Llama シリーズの最新版である Llama 3 は、Llama 2 やその他の公開されているモデルに比べて大幅に改善されています。

• Llama 2 の 7 倍のデータセットでトレーニングされました。
• 8K 長いテキストをサポートします。
• 128K トークンの語彙を使用すると、言語をより効率的にエンコードできます。

モデルは公共スペースに配置されており、個人の保管スペースを占有しません。

以下の内容に従ってOllamaとOpen WebUIをそれぞれ起動すると、右側の「APIアドレス」が利用できるようになります。

実行メソッド

新しいターミナルを作成し、Ollamaを起動します

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

新しいターミナルを作成し、Open Webui を起動します

bash /openbayes/input/input1/open-webui/backend/start.sh

ページを開く

1. 右側の API アドレスをコピーしてブラウザに貼り付け、「WebUI を開く」ページを開きます。

2. admin@example.com/adminadmin 経由でログインします