Phi-3.5-mini-instruct のワンクリック展開

チュートリアルの紹介

Phi-3.5-mini-instruct は、Microsoft が 2024 年に発売した Phi-3.5 シリーズの軽量モデルです。コンピューティング リソースが限られた環境向けに設計されており、38 億個のパラメーターがあります。 128K トークンのコンテキスト長をサポートしており、コード生成、数学的問題解決、ロジックベースの推論などのタスクに適しています。このモデルは、多言語および複数ターンの対話タスクで優れたパフォーマンスを発揮し、RepoQA ベンチマークでは、Llama-3.1-8B-instruct や Mistral-7B-instruct などの同じクラスの他のモデルよりも優れたパフォーマンスを示します。 Phi-3.5-mini-instruct は 512 個の H100-80G GPU を使用してトレーニングされ、トレーニング期間は 10 日間で、トレーニング データには 3.4 兆のトークンが含まれていました。

Phi-3.5-mini-instruct モデルは、メモリやコンピューティング リソースが限られている環境、レイテンシの影響を受けやすいシナリオ、強力な推論機能 (特にコーディング) を必要とするシナリオなど、さまざまな使用シナリオを念頭に置いて設計されています。 、数学、論理））アプリケーション。中国語を含む複数の言語をサポートしており、中国語のシナリオ向けに強化されていますが、モデルのサイズには制限があり、事実上の誤りがある可能性がありますが、検索などのテクノロジーを組み込むことでエラー率を減らすことができます。

このチュートリアルは 1 枚のカード 4090 を使用して開始できます。

ステップの実行

1. 克隆并启动容器后点击 API 地址即可进入 web 界面

2. 与模型进行对话