llama.cpp+Open-Webui デプロイ gpt-oss-20b

1. チュートリアルの概要

GitHubスター

gpt-oss-20bは、OpenAIが2025年8月にリリースしたオープンソースの推論モデルです。強力な推論、エージェントベースタスク、そして多様な開発シナリオを対象としています。MoEアーキテクチャをベースとするこのモデルは、128kのコンテキスト長をサポートし、クローズドソースのo4-miniおよびo3-miniモデルに匹敵するパフォーマンスを提供します。ツール呼び出し、少数ショット関数呼び出し、連鎖推論、健康に関する質問応答において優れた性能を発揮します。

このチュートリアルでは、単一の RTX 4090 カードのリソースを使用します。

2. プロジェクト例

3. 操作手順

1. コンテナを起動した後、API アドレスをクリックして Web インターフェイスに入ります

2. Web ページに入ると、モデルと会話を開始できます。

「モデル」が表示されない場合は、モデルが初期化中です。モデルのサイズが大きいため、4~5分ほどお待ちいただき、ページを更新してください。

利用手順

4. 議論

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。