Mistral Large 2407 123Bモデル OpenAI対応APIサービスをワンクリックで導入

チュートリアルとモデルの紹介

このチュートリアルでは、OpenAI 互換 API を使用して Mistral-Large-Instruct-2407-AWQ をデプロイします。

* ビデオチュートリアルを参照してください。【OpenBayes公式チュートリアル】Mistral-Large & Llama-3.1-405B超大型モデルを素早く導入」

Mistral-Large-Instruct-2407-AWQ は、フランスの人工知能企業 Mistral AI がリリースした新世代のフラッグシップ AI モデル、すなわち Mistral Large 2 です。このモデルには 123B のパラメーター、128k のコンテキスト ウィンドウがあり、中国語を含む数十の言語と、Python、Java、C、C++、JavaScript、Bash などの 80 以上のプログラミング言語をサポートしています。 Mistral Large 2 は、多言語機能、数学、推論、コード記述などの面で大幅に向上しており、MMLU での精度は 84.0% に達しています。

「OpenAI 互換 API」とは、OpenAI 社が設定したインターフェイス標準と仕様に準拠したアプリケーション プログラミング インターフェイス (API) を指し、開発者はこれらの API を使用して大規模な言語モデル (OpenAI GPT シリーズ モデルなど) と対話して、交流する。この互換性は、サードパーティの開発者が、OpenAI と同じ要求および応答形式を使用して、同様の機能を独自のアプリケーションに統合できることを意味します。たとえば、開発者が OpenAI の API を使用してチャットボットを構築している場合、コードに大規模な変更を加えることなく、同様に OpenAI 準拠の API 標準に準拠する別のサービスに簡単に切り替えることができます。

OpenAI 互換 API の主な機能は次のとおりです。

• 標準化されたリクエスト: API リクエストは、必要なパラメータや構造を含む OpenAI の形式に従います。
• 標準化された応答: API 応答も OpenAI の形式に従っており、結果の処理と解析が一貫して予測可能になります。
• 機能の一貫性: テキスト生成、翻訳、要約など、OpenAI と同様の機能を提供します。
• 統合の容易さ: 開発者は、使い慣れたインターフェイスとパターンを活用して、これらの API を既存のシステムに簡単に統合できます。

ステップの実行

1. チュートリアルインターフェイスの右上隅でコンテナを複製して起動します

OpenAI 互換 API は、デプロイメントが成功した後、追加の介入を必要とせずに、すべてのサービスを自動的に開始します。 

2. API アドレスを新しいページにコピーして開きます

デフォルトの 404 メッセージが表示されていることがわかります。

3. API アドレスの後にパラメータ「/v1/models」を追加します。

モデルのデプロイメント情報が表示されていることがわかります。

4. この時点で、モデルは OpenAI 互換の SDK に接続できます。ここでは OpenWebUI を例として取り上げます。この API を組み込むにはローカル OpenWebUI を使用します。

OpenWebUI サービスをローカルで開始し、「外部接続」で追加の接続を開き、「OpenAPI」と ➕ '/v1' で API を入力します。ここには「API キー」カスタム入力セットはありません。右下隅にある「保存」をクリックします。

5.展開完了

この時点で、OpenWebUI インターフェイスにはすでに Mistral Large 2407 123B モデルが含まれていることがわかります。ページの下部にメッセージを直接入力して、Large モデルと通信できます。