vLLM + オープン WebUI の導入 gemma-3-270m-it

1. チュートリアルの概要

gemma-3-270m-itは、Googleが2025年3月12日に発表したGemma 3シリーズの軽量命令微調整モデルです。2億7000万個のパラメータに基づいて構築され、効率的な会話インタラクションと軽量な展開に重点を置いています。このモデルは軽量で効率的であり、実行に必要なのは1GB + ビデオメモリのみであるため、エッジデバイスや低リソースのシナリオに適しています。複数ラウンドの会話をサポートし、日常的な質疑応答や簡単なタスク指示に特化して微調整されており、テキスト生成と理解に重点を置いています(画像などのマルチモーダル入力はサポートしていません)。また、32Kトークンのコンテキストウィンドウをサポートし、長いテキスト会話を処理できます。関連論文の結果は「Gemma 3 技術レポート”。

このチュートリアルでは、単一の RTX 4090 カードのリソースを使用します。

2. プロジェクト例

3. 操作手順

1. コンテナを起動した後、API アドレスをクリックして Web インターフェイスに入ります

2. Web ページに入ると、モデルと会話を開始できます。

「モデル」が表示されない場合は、モデルが初期化中です。モデルのサイズが大きいため、2~3分ほどお待ちいただき、ページを更新してください。

利用手順

4. 議論

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。

引用情報

このプロジェクトの引用情報は次のとおりです。

@article{gemma_2025,
    title={Gemma 3},
    url={https://arxiv.org/abs/2503.19786},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}
vLLM + オープン WebUI の導入 gemma-3-270m-it | チュートリアル | HyperAI超神経