HyperAI超神经

チュートリアルとモデルの紹介

このチュートリアルは、テキストチュートリアルやビデオチュートリアルなどの OpenAI 互換 API サービスを使用して Llama-3.1-405B-Instruct-AWQ-INT4 モデルをデプロイするためのものです。

* ビデオチュートリアル:【OpenBayes公式チュートリアル】Mistral-Large & Llama-3.1-405B超大型モデルを素早く導入

このモデルは、Llama 3.1 シリーズの大規模言語モデルの 405B パラメーターサイズ命令の最適化されたバージョンであり、AWQ 量子化テクノロジを使用してモデルの重みを INT4 精度に量子化します。これにより、パフォーマンスを維持しながらモデルサイズを削減し、推論を向上させることができます。スピード。これは現在最大のオープンソースモデルの 1 つであり、多言語の入出力をサポートし、モデルの多用途性と適用性を強化すると同時に、より複雑なタスクや会話を処理できるより長いコンテキストウィンドウを導入しています。

「OpenAI 互換 API」とは、OpenAI 社が設定したインターフェイス標準と仕様に準拠したアプリケーションプログラミングインターフェイス (API) を指し、開発者はこれらの API を使用して大規模な言語モデル (OpenAI GPT シリーズモデルなど) と対話して、交流する。この互換性は、サードパーティの開発者が、OpenAI と同じ要求および応答形式を使用して、同様の機能を独自のアプリケーションに統合できることを意味します。たとえば、開発者が OpenAI の API を使用してチャットボットを構築している場合、コードに大規模な変更を加えることなく、同様に OpenAI 準拠の API 標準に準拠する別のサービスに簡単に切り替えることができます。

OpenAI 互換 API の主な機能は次のとおりです。

標準化されたリクエスト: API リクエストは、必要なパラメータや構造を含む OpenAI の形式に従います。
標準化された応答: API 応答も OpenAI の形式に従っており、結果の処理と解析が一貫して予測可能になります。
機能の一貫性: テキスト生成、翻訳、要約など、OpenAI と同様の機能を提供します。
統合の容易さ: 開発者は、使い慣れたインターフェイスとパターンを活用して、これらの API を既存のシステムに簡単に統合できます。

テキストチュートリアル

1. チュートリアルインターフェイスの右上隅でコンテナを複製して起動します

OpenAI 互換 API は、デプロイメントが成功した後、追加の介入を必要とせずに、すべてのサービスを自動的に開始します。

2. API アドレスを新しいページにコピーして開きます

デフォルトの 404 メッセージが表示されていることがわかります。

3. API アドレスの後にパラメータ「/v1/models」を追加します。

モデルのデプロイメント情報が表示されていることがわかります。

4. この時点で、モデルは OpenAI 互換の SDK に接続できます。ここでは OpenWebUI を例として取り上げます。この API を組み込むにはローカル OpenWebUI を使用します。

OpenWebUI サービスをローカルで開始し、「外部接続」で追加の接続を開き、「OpenAPI」と ➕ '/v1' で API を入力します。ここには「API キー」カスタム入力セットはありません。右下隅にある「保存」をクリックします。

5.展開完了

この時点で、OpenWebUI インターフェイスにはすでに Llama-3.1-405b モデルが含まれていることがわかります。以下のメッセージを直接入力して、大きなモデルと通信できます。