Ollama と Open WebUI を使用した Llama3-70B の導入

在线运行此教程

チュートリアルの紹介

1

このチュートリアルは、Ollama + Open WebUI のワンクリック実行パッケージです。以下の手順に従ってコマンドを入力するだけで、ワンクリックで大型モデル Llama3 70B を実行できます。

Ollamaと0pen Webuiを下記の「実行方法」に従ってそれぞれ起動後、右側の「APIアドレス」を使用してご利用ください。モデルの規模が大きいため、Ollama によるモデルのロード処理に時間がかかるため、しばらくお待ちください。  初めて使用するとき、つまり大きなモデルに初めてプロンプト単語 (prompt) を入力したとき、Ollama は正式にモデルの読み込みを開始するため、最初の質問までに約 3 分待つ必要があります。そうすれば、モデルの応答はますます速くなります。

Ollama と Open WebUI の概要

モデルのサイズが増大し続けるにつれて、これらの大規模なモデルを効果的に展開する方法が課題になっています。 Ollama と Open WebUI は、それぞれ強力なバックエンド モデル管理とフロントエンド インターフェイスの対話機能を提供する 2 つの非常に実用的なツールです。これら 2 つのツールを一緒に使用すると、大規模なモデルのデプロイと管理のタスクが容易になります。

モデル紹介

モデル対話の例は次のとおりです

1

このモデルには 8B と 70B の 2 つのサイズがあります。コンシューマ GPU での効率的な導入と開発には 8B、大規模な AI ネイティブ アプリケーションには 70B。

Llama3 は、オープン生成 AI モデルの Llama シリーズの最新製品であり、Llama 2 やその他の公開されているモデルに比べて大幅に改善されています。

  • Llama 2 の 7 倍のデータセットでトレーニングされました。
  • 8K 長いテキストをサポートします。
  • 128K トークンの語彙を使用すると、言語をより効率的にエンコードできます。

モデルは公共スペースに配置されており、個人の保管スペースを占有しません。

実行メソッド

新しいターミナルを作成し、Ollamaを起動します

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

新しいターミナルを作成し、Open Webui を起動します

bash /openbayes/input/input1/open-webui/backend/start.sh

ページを開く

  1. 右側の API アドレスをコピーしてブラウザに貼り付け、Open Webui ページを開きます
  1. admin@example.com/adminadmin 経由でログインします