HyperAI

1. Einführung in das Tutorial

Higgs Audio V2 ist ein umfangreiches Sprachmodell, das im Juli 2025 von Li Mu und seinem Team Boson AI veröffentlicht wurde. Bei EmergentTTS-Eval übertraf das Modell „gpt-4o-mini-tts“ um 75,71 TP3T bzw. 55,71 TP3T in den Kategorien „Emotion“ und „Frage“. Auch in traditionellen TTS-Benchmarks wie Seed-TTS Eval und Emotional Speech Dataset (ESD) erreichte es Spitzenleistungen. Darüber hinaus zeigte das Modell Funktionen, die in früheren Systemen selten zu finden waren, darunter automatische Prosodieanpassung während der Erzählung, Zero-Sample-Generierung natürlicher Mehrsprechergespräche in mehreren Sprachen, melodisches Summen geklonter Stimmen und gleichzeitige Generierung von Sprache und Hintergrundmusik. Die entsprechenden Ergebnisse der Studie sind:EmergentTTS-Eval: Evaluierung von TTS-Modellen hinsichtlich komplexer prosodischer, expressiver und linguistischer Herausforderungen mithilfe von Model-as-a-Judge".

Dieses Tutorial verwendet eine einzelne RTX 4090-Grafikkarte. Es bietet sechs Beispiele zum Testen: Voice-Clone, Smart-Voice, Multispeaker-Voice-Description, Single-Speaker-Voice-Description, Single-Speaker-ZH und Single-Speaker-BGM. Die Systemeingabeaufforderung unterstützt nur Englisch.

2. Projektbeispiele

Sprachklon

Smart Voice

Multispeaker-Sprachbeschreibung

Einzelsprecher-Sprachbeschreibung

Einzellautsprecher-zh

Einzellautsprecher-Hintergrundmusik

3. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

2. Anwendungsschritte

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 2–3 Minuten und aktualisieren Sie die Seite. Bei Verwendung des Safari-Browsers wird der Ton möglicherweise nicht direkt abgespielt und muss vor der Wiedergabe heruntergeladen werden.

2.1 Sprachklon

Parameterbeschreibung

Erweiterte Parameter:
- Max. Vervollständigungstoken: Begrenzt die Länge des generierten Audiotextes (in Token). Je größer der Wert, desto länger kann der generierte Audiotext sein.
- Temperatur: Steuert die Zufälligkeit der generierten Ausgabe. Niedrige Werte (z. B. 0,1) machen die Ausgabe deterministischer und wiederholbarer; hohe Werte (z. B. 1,0) machen die Ausgabe abwechslungsreicher und kreativer, aber möglicherweise inkohärent.
- Top P: Begrenzt den Bereich der Bezeichnungen (kumulative Wahrscheinlichkeiten), die das Modell bei jedem Schritt berücksichtigt. Niedrige Werte (z. B. 0,5) führen zu einer stärkeren Konzentration der Ausgabe, hohe Werte (z. B. 0,95) zu einer stärkeren Diversifizierung der Ausgabe.
- Top K: Schränkt das Modell ein, sodass bei jedem Schritt nur die K wahrscheinlichsten Marker ausgewählt werden. Niedrige Werte machen die Ausgabe sicherer; hohe Werte (oder -1 zum Deaktivieren) machen die Ausgabe vielfältiger.
- RAS-Fensterlänge: Aktiviert die Funktion zur Duplikatsvermeidung und definiert die Größe des Textfensters zur Duplikatsprüfung. Setzen Sie den Wert auf 0, um diese Funktion zu deaktivieren.
- RAS Max Num Repeat: Definiert in Verbindung mit dem RAS-Fenster die maximale Anzahl von Wiederholungen eines Inhalts innerhalb des Fensters. Ein niedriger Wert reduziert Wiederholungen, während ein hoher Wert natürlichere Wiederholungen ermöglicht.

2.2 Smart-Voice

2.3 Multispeaker-Sprachbeschreibung

2.4 Einzelsprecher-Sprachbeschreibung

2.5 Einzellautsprecher-zh

2.6 Einzellautsprecher-Hintergrundmusik

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@misc{higgsaudio2025,
  author       = {{Boson AI}},
  title        = {{Higgs Audio V2: Redefining Expressiveness in Audio Generation}},
  year         = {2025},
  howpublished = {\url{https://github.com/boson-ai/higgs-audio}},
  note         = {GitHub repository. Release blog available at \url{https://www.boson.ai/blog/higgs-audio-v2}},
}