Schnellere, einfachere und genauere hybride ASR-Systeme unter Verwendung von Wordpieces

In dieser Arbeit zeigen wir zunächst, dass unser auf Transformers basierendes, kontextabhängiges Connectionist Temporal Classification (CTC)-System auf dem weit verbreiteten LibriSpeech-Benchmark state-of-the-art Ergebnisse erzielt. Anschließend demonstrieren wir, dass die Verwendung von Wordpieces als Modellierungseinheiten im Zusammenhang mit CTC-Training die technische Implementierung erheblich vereinfacht, indem alle Schritte des GMM-Bootstrappings, der Entscheidungsbaumkonstruktion und der Zwangsausrichtung entfallen können, ohne dass dabei die Leistung in Bezug auf den Wortfehlerquote (Word Error Rate) deutlich leidet. Zudem führt die Verwendung von Wordpieces zu einer signifikanten Steigerung der Laufzeiteffizienz, da wir größere Schrittlängen (Stride) nutzen können, ohne an Genauigkeit zu verlieren. Diese Ergebnisse bestätigen wir an zwei internen VideoASR-Datensätzen: Deutsch, das als fusives Sprachtyp der englischen Sprache ähnelt, und Türkisch, das eine agglutinierende Sprache darstellt.