1. Einführung in das Tutorial

Qwen3-Omni ist das branchenweit erste native, durchgängige omnimodale KI-Modell, das im September 2025 vom Tongyi Qianwen-Team von Alibaba auf den Markt gebracht wurde. Es kann mehrere Arten von Eingaben verarbeiten, darunter Text, Bilder, Audio und Video, und Ergebnisse in Echtzeit-Streaming über Text und natürliche Sprache ausgeben. Dadurch wird das langjährige Problem multimodaler Modelle gelöst, die Kompromisse zwischen verschiedenen Fähigkeiten erfordern.Technischer Bericht zu Qwen3-Omni".

Dieses Tutorial verwendet die Rechenressourcen der Dual-GPU RTX A6000 und bietet zum Testen zwei Modelle: Qwen3-Omni-30B-A3B-Instruct und Qwen3-Omni-30B-A3B-Thinking.

Qwen3-Omni-30B-A3B-Instruct ist ein Anweisungsmodell für Qwen3-Omni-30B-A3B. Es enthält einen Denker und einen Lautsprecher, unterstützt Audio-, Video- und Texteingabe und gibt Audio und Text aus.

Qwen3-Omni-30B-A3B-Thinking ist das Denkmodell von Qwen3-Omni-30B-A3B. Es enthält eine Denkerkomponente, verfügt über die Fähigkeit zum gedanklichen Denken, unterstützt Audio-, Video- und Texteingabe und gibt Text aus.

2. Effektanzeige

Online-Audio-Konversation

Online-Videogespräch

Offline-Audiokonversation

Offline-Videochat

Bildverständnis

3. Bedienungsschritte

1. Starten Sie den Container

2. Anwendungsschritte

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 3–5 Minuten und aktualisieren Sie die Seite.

Online-Audio-Konversation

Online-Videogespräch

Offline-Audiokonversation

Offline-Videochat

Bildverständnis

Parameterbeschreibung:

• Systemaufforderung: Die erste Eingabeaufforderung, die das System dem Modell gibt.
• Temperatur: Je kleiner der Wert, desto „konservativer“ und bestimmter sind die Untertitel; je größer der Wert, desto zufälliger und neuartiger sind sie.
• Top-p: Wählen Sie nur aus den „High-Scoring-Wörtern“ aus, deren Wahrscheinlichkeit sich zu p summiert. Je kleiner p ist, desto weniger Kandidaten gibt es und desto konservativer ist der Text.
• Top-k: Behalten Sie nur die k Wörter mit der höchsten Wahrscheinlichkeit. Je kleiner k, desto weniger Kandidaten gibt es und desto konservativer ist der Text.

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓