vLLM+Open WebUI の展開 Magistral-Small-2506

1. チュートリアルの概要

Magistral-Small-2506は、Mistral AIが2025年6月10日にリリースした最初の推論モデルです。Mistral Small 3.1 (2503)をベースに構築され、推論機能が追加され、Magistral MediumトラッキングによるSFT（Science-Total Field Testing）を実行し、その上で強化学習を行います。24Bパラメータを持つ小型で効率的な推論モデルであり、長鎖推論トラッキングを実行して回答を提供することで、複雑な問題をより深く理解し、対処することができ、回答の精度と合理性が向上します。

このチュートリアルでは、デュアルカード RTX A6000 リソースを使用します。

2. プロジェクト例

3. 操作手順

1. コンテナを起動した後、API アドレスをクリックして Web インターフェイスに入ります

2. Web ページに入ると、モデルと会話を開始できます。

「モデル」が表示されない場合は、モデルが初期化中です。モデルのサイズが大きいため、2～3分ほどお待ちいただき、ページを更新してください。

利用手順

4. 議論

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。