vLLM + オープン WebUI の導入 Jan-v1-4B
1. チュートリアルの概要
Jan-v1-4Bは、Janチーム(JanHQ)が2025年8月にリリースした40億パラメータのオープンソース言語モデルです。インテリジェントなボディベース推論とツール呼び出しをターゲットとしたJanファミリーの最初のリリースであり、Janアプリにおける実際のワークフローシナリオに最適化されています。Qwen3-4B-Thinking-2507をベースに微調整と拡張が施されたこのモデルは、SimpleQAベンチマークで91.11 TP3Tの精度を達成し、モデルの拡張とチューニングによって大幅なパフォーマンス向上が実現しました。公式ドキュメントによると、このベンチマークにおいて、より大規模なモデルよりも優れた性能を発揮できることも示されています。
このチュートリアルでは、単一の RTX 4090 カードのリソースを使用します。
2. プロジェクト例

3. 操作手順
1. コンテナを起動した後、API アドレスをクリックして Web インターフェイスに入ります

2. Web ページに入ると、モデルと会話を開始できます。
「モデル」が表示されない場合は、モデルが初期化中です。モデルのサイズが大きいため、2~3分ほどお待ちいただき、ページを更新してください。
利用手順

4. 議論
🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。
