Open WebUI を使用してワンクリックで Mistral Large 2407 123B を導入

チュートリアルとモデルの紹介

このチュートリアルでは、OpenWebUI を使用して、ワンクリックで Mistral-Large-Instruct-2407-AWQ をデプロイします。推論エクスペリエンスのためにコンテナを複製して起動するだけで済みます。

Mistral-Large-Instruct-2407-AWQ は、フランスの人工知能企業 Mistral AI がリリースした新世代のフラッグシップ AI モデル、すなわち Mistral Large 2 です。このモデルには 123B のパラメーター、128k のコンテキスト ウィンドウがあり、中国語を含む数十の言語と、Python、Java、C、C++、JavaScript、Bash などの 80 以上のプログラミング言語をサポートしています。 Mistral Large 2 は、多言語機能、数学、推論、コード記述などの面で大幅に向上しており、MMLU での精度は 84.0% に達しています。

このモデルは、モデルの幻覚の問題を軽減すること、つまり、合理的であるように見えても、実際には不正確または無関係である情報の生成を回避することに特に焦点を当てています。このモデルは、解決策が見つからない場合、または自信を持って回答できる十分な情報がない場合に、情報をでっち上げるのではなく、知らないことを認めるようにトレーニングされています。さらに、Mistral Large 2 は、高度な関数呼び出しと取得、外部システム、API、ツールとのシームレスな対話、および推論と数学の高度な機能をサポートしています。

ステップの実行

1. チュートリアル インターフェイスの右上隅でコンテナを複製して起動した後、API アドレスを新しいページにコピーして開きます。

2. API を開くと、次のインターフェイスが表示されます。ダイアログ ボックスにテキストを直接入力して、大きなモデルと通信できます。