1. チュートリアルの概要

アリババの同義千文チームによって2025年9月に発表されたQwen3-Omniは、業界初のネイティブエンドツーエンドのマルチモーダルAIモデルです。テキスト、画像、音声、動画など、様々な入力タイプを処理し、テキストと自然音声によるリアルタイムストリーミングで結果を出力できるため、マルチモーダルモデルに求められる様々な機能間のトレードオフという長年の課題を解決します。関連研究論文もご覧いただけます。 Qwen3-Omni 技術レポート 。

このチュートリアルでは、デュアル GPU RTX A6000 コンピューティング リソースを使用し、テスト用に Qwen3-Omni-30B-A3B-Instruct と Qwen3-Omni-30B-A3B-Thinking の 2 つのモデルを提供します。

Qwen3-Omni-30B-A3B-Instructは、Qwen3-Omni-30B-A3B用の命令モデルです。思考回路とスピーカーを搭載し、音声、ビデオ、テキストの入力をサポートし、音声とテキストを出力します。

Qwen3-Omni-30B-A3B-Thinkingは、Qwen3-Omni-30B-A3Bの思考モデルです。思考者コンポーネントを搭載し、思考連鎖推論機能を備え、音声、ビデオ、テキスト入力をサポートし、テキストを出力します。

2. エフェクト表示

オンライン音声会話

オンラインビデオ会話

オフライン音声会話

オフラインビデオチャット

画像理解

3. 操作手順

1. コンテナを起動します

2. 使用手順

「Bad Gateway」と表示される場合、モデルが初期化中であることを意味します。モデルが大きいため、3〜5分ほど待ってページを更新してください。

オンライン音声会話

オンラインビデオ会話

オフライン音声会話

オフラインビデオチャット

画像理解

パラメータの説明:

• システム プロンプト: システムによってモデルに与えられる最初のプロンプト。
• 温度: 値が小さいほど、字幕はより「保守的」かつ確実になります。値が大きいほど、字幕はよりランダムかつ斬新になります。
• Top-p: 確率がpに達する「高得点単語」のみを選択します。pが小さいほど候補数が少なくなり、テキストはより保守的になります。
• Top-k: 最も確率の高いk個の単語のみを保持します。kが小さいほど候補が少なくなり、テキストはより保守的になります。

4. 議論

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。