1. Introduction au tutoriel

Qwen3-Omni est le premier modèle d'IA omnimodal natif de bout en bout du secteur, lancé par l'équipe Tongyi Qianwen d'Alibaba en septembre 2025. Il peut traiter plusieurs types d'entrées, notamment du texte, des images, de l'audio et de la vidéo, et peut générer des résultats en streaming en temps réel via du texte et de la parole naturelle, résolvant ainsi le problème de longue date des modèles multimodaux nécessitant des compromis entre différentes capacités.Rapport technique Qwen3-Omni".

Ce tutoriel utilise des ressources de calcul RTX A6000 à double GPU et fournit deux modèles, Qwen3-Omni-30B-A3B-Instruct et Qwen3-Omni-30B-A3B-Thinking, pour les tests.

Qwen3-Omni-30B-A3B-Instruct est un modèle d'instructions pour Qwen3-Omni-30B-A3B. Il comprend un penseur et un haut-parleur, prend en charge la saisie audio, vidéo et texte, et produit des signaux audio et texte.

Qwen3-Omni-30B-A3B-Thinking est le modèle de pensée de Qwen3-Omni-30B-A3B. Il comprend un composant de réflexion, permet le raisonnement par chaîne de pensée, prend en charge la saisie audio, vidéo et texte, et génère du texte.

2. Affichage des effets

Conversation audio en ligne

Conversation vidéo en ligne

Conversation audio hors ligne

Chat vidéo hors ligne

Compréhension de l'image

3. Étapes de l'opération

1. Démarrez le conteneur

2. Étapes d'utilisation

Si « Bad Gateway » s'affiche, cela signifie que le modèle est en cours d'initialisation. Étant donné que le modèle est grand, veuillez patienter environ 3 à 5 minutes et actualiser la page.

Conversation audio en ligne

Conversation vidéo en ligne

Conversation audio hors ligne

Chat vidéo hors ligne

Compréhension de l'image

Description des paramètres :

• Invite système : l'invite initiale donnée au modèle par le système.
• Température : Plus la valeur est petite, plus les sous-titres sont « conservateurs » et certains ; plus la valeur est grande, plus ils sont aléatoires et novateurs.
• Top-p : Sélectionnez uniquement les mots à score élevé dont la probabilité cumulée atteint p. Plus p est petit, moins il y a de candidats et plus le texte est conservateur.
• Top-k : Ne conserver que les k mots présentant la probabilité la plus élevée. Plus k est petit, moins il y a de candidats et plus le texte est conservateur.

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓