1. Einführung in das Tutorial

Qwen3-Omni, im September 2025 vom Tongyi-Qianwen-Team von Alibaba vorgestellt, ist das branchenweit erste native, durchgängige multimodale KI-Modell. Es verarbeitet verschiedene Eingabetypen wie Text, Bilder, Audio und Video und gibt Ergebnisse in Echtzeit-Streaming mit Text und natürlicher Sprache aus. Damit löst es das seit Langem bestehende Problem der Kompromisse zwischen den verschiedenen Fähigkeiten, die für multimodale Modelle erforderlich sind. Zugehörige Forschungsarbeiten sind verfügbar. Technischer Bericht zu Qwen3-Omni .

Dieses Tutorial verwendet die Rechenressourcen der Dual-GPU RTX A6000 und bietet zum Testen zwei Modelle: Qwen3-Omni-30B-A3B-Instruct und Qwen3-Omni-30B-A3B-Thinking.

Qwen3-Omni-30B-A3B-Instruct ist ein Anweisungsmodell für Qwen3-Omni-30B-A3B. Es enthält einen Denker und einen Lautsprecher, unterstützt Audio-, Video- und Texteingabe und gibt Audio und Text aus.

Qwen3-Omni-30B-A3B-Thinking ist das Denkmodell von Qwen3-Omni-30B-A3B. Es enthält eine Denkerkomponente, verfügt über die Fähigkeit zum gedanklichen Denken, unterstützt Audio-, Video- und Texteingabe und gibt Text aus.

2. Effektanzeige

Online-Audio-Konversation

Online-Videogespräch

Offline-Audiokonversation

Offline-Videochat

Bildverständnis

3. Bedienungsschritte

1. Starten Sie den Container

2. Anwendungsschritte

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 3–5 Minuten und aktualisieren Sie die Seite.

Online-Audio-Konversation

Online-Videogespräch

Offline-Audiokonversation

Offline-Videochat

Bildverständnis

Parameterbeschreibung:

• Systemaufforderung: Die erste Eingabeaufforderung, die das System dem Modell gibt.
• Temperatur: Je kleiner der Wert, desto „konservativer“ und bestimmter sind die Untertitel; je größer der Wert, desto zufälliger und neuartiger sind sie.
• Top-p: Wählen Sie nur aus den „High-Scoring-Wörtern“ aus, deren Wahrscheinlichkeit sich zu p summiert. Je kleiner p ist, desto weniger Kandidaten gibt es und desto konservativer ist der Text.
• Top-k: Behalten Sie nur die k Wörter mit der höchsten Wahrscheinlichkeit. Je kleiner k, desto weniger Kandidaten gibt es und desto konservativer ist der Text.

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓