vLLM+Open WebUIデプロイメントSeed-Coder-8B-Instruct

1. チュートリアルの概要

このチュートリアルで使用されるコンピューティング リソースは、単一の RTX 4090 カードです。

Seed-Coder-8B-Instruct は、ByteDance Seed チームによって 2025 年 5 月 11 日にリリースされた、軽量でありながら強力なオープンソース コードの大規模言語モデルです。Seed-Coder シリーズの命令を微調整したバージョンです。 LLM は最小限の人員でコードトレーニングデータを独自に効果的に管理できるため、コーディング機能が大幅に向上します。このモデルは Llama 3 アーキテクチャ上に構築されており、8.2 B のパラメータを持ち、32 K トークンの長いコンテキストをサポートします。このモデルは、さまざまなエンコードタスクにおいて、同様のサイズのオープンソース モデルの中で最先端のパフォーマンスを実現します。

2. プロジェクト例

3. 操作手順

1. コンテナを起動します

「モデル」が表示されていない場合は、モデルが初期化中であることを意味します。モデルが大きいため、2〜3分ほど待ってページを更新してください。

2. Web ページに入ると、モデルと会話を開始できます。

4. 議論

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。