Open TTS Leaderboard bewertet multilinguale TTS-Modelle
Die rasante Expansion des Open-Source-Text-to-Speech-Sektors wird nun durch den Start des Open TTS Leaderboard systematisch evaluiert. Bis Ende September 2026 verzeichnet die Hugging-Face-Plattform mehr als 8.000 TTS-Modelle, wobei die Evaluationslandschaft traditionell fragmentiert bleibt. Arena-basierte Rankings, die auf menschlichen Präferenzabstimmungen und Elo-Scores beruhen, stoßen bei der schieren Menge neuer Veröffentlichungen an ihre Grenzen. Zudem bleiben Open-Source-Modelle dabei systematisch unterrepräsentiert, da der Hosting-Aufwand für Betreiber hoch ist und kommerzielle Anbieter bevorzugt platziert werden. Um diese Lücke zu schließen, stellt das neue Leaderboard eine skalierbare, metric-basierte Evaluierungsmethode vor. Statt auf subjektive User-Votes setzt die Plattform auf objektive Kennzahlen, die mehrere Leistungsbereiche abdecken. Zur Messung der Intelligibilität kommen Wort- und Zeichensetzfehlerquoten (WER und CER) mittels des topplazierten Open-Source-ASR-Modells Qwen3 zum Einsatz. Die Inferenzgeschwindigkeit wird durch den inversen Real-Time-Faktor (RTFx) bei Batch-Verarbeitung auf NVIDIA-H200-GPUs sowie die Time-to-First-Audio (TTFA) für Streaming-Szenarien mit Batch-Größe eins quantifiziert. Die Wahrung der Sprecheridentität bei Voice-Cloning-Anwendungen wird durch Cosine-Similarity-Vergleiche von WavLM-Embeddings zwischen Generat und Referenzaudio ermittelt. Diese metrikbasierte Herangehensweise reduziert die Evaluierungszeit von mehreren Wochen auf wenige Stunden und gewährleistet reproduzierbare, konsistente Vergleiche. Das Dashboard ermöglicht zudem eine umfassende multilinguale Analyse. Während Englisch- und Chinesisch-Tests auf Seed-TTS-Eval basieren, fließen für weitere Sprachen ausschließlich CV3-Eval-Zer-Shot-Daten ein. Bei asiatischen Sprachen wird primär die CER berichtet, wobei ein makroskopischer WER-Durchschnitt die Sprachübergreifende Performance abbildet. Führende Modelle im englischen Benchmark sind hexgrad/Kokoro-82M, Supertone/supertonic-3 und fishaudio/s2-pro. Im multilinguellen Vergleich überzeugen k2-fsa/OmniVoice und FunAudioLLM/Fun-CosyVoice3-0.5B-2512. Die Voice-Cloning-Funktion aktiviert zusätzliche Similary-Spalten und Pareto-Diagramme, die den Zielkonflikt zwischen Stimmtreue, Latenz und Modellgröße visualisieren. Ein integriertes Hörmodul schließt die Lücke zu reinen Zahlenwerten, ermöglicht den direkten Vergleich von Audiooutputs und sammelt kontinuierlich Community-Feedback zur Ergänzung der automatisierten Rankings. Für interaktive Anwendungen fokussiert der Streaming-Bereich auf die TTFA-Metriken. Während native Streaming-Modelle die Zeit bis zur ersten Audiochunk messen, wird bei Offline-Modellen die Generierungszeit der gesamten Utterance herangezogen. Besonders kyutai/pocket-tts hebt sich in GPU- und CPU-Umgebungen durch herausragende Streaming-Latenzen hervor. Die Initiatoren betonen, dass das Leaderboard menschliche Präferenzrankings nicht ersetzen, sondern durch reproduzierbare Benchmarks sinnvoll ergänzen soll. Geplant ist die Öffnung der Evaluierungsskripte über GitHub, um direkte Community-Beiträge, neue Datensätze und Metric-Verbesserungen in einem partizipativen Entwicklungsprozess zu integrieren. Mit dieser Infrastruktur wird die TTS-Evaluierung nun transparent, skalierbar und unabhängig von kommerziellen Platzierungsstrategien.
