BigSSL: Untersuchung der Grenzen des großskaligen semi-supervised Lernens für die automatische Spracherkennung

Wir fassen die Ergebnisse einer Vielzahl von Ansätzen zusammen, die große automatische Spracherkennungs-(ASR-)Modelle nutzen, die mit großen, vielfältigen, unbeschrifteten Datensätzen vortrainiert wurden, die etwa eine Million Stunden Audio umfassen. Wir stellen fest, dass die Kombination aus Vortrainieren, Selbsttrainieren und Skalierung der Modellgröße die Daten-Effizienz erheblich steigert, selbst bei äußerst großen Aufgaben mit Zehntausenden Stunden beschrifteter Daten. Insbesondere erreichen wir auf einer ASR-Aufgabe mit 34.000 Stunden beschrifteter Daten mit dem Feintuning eines vortrainierten Conformer-Modells mit 8 Milliarden Parametern die Zustand der Kunst (SoTA)-Leistung mit nur 3 % des Trainingsdatensatzes und übertreffen die SoTA erheblich, wenn der gesamte Trainingsdatensatz verwendet wird. Zudem berichten wir über universelle Vorteile, die sich aus der Verwendung großer vortrainierter und selbsttrainierter Modelle für eine große Anzahl von Downstream-Aufgaben ergeben, die eine breite Palette an Sprachdomänen abdecken und sich über mehrere Größenordnungen in den Datensatzgrößen erstrecken, einschließlich der Erreichung von SoTA-Leistungen auf vielen öffentlichen Benchmarks. Darüber hinaus nutzen wir die gelernten Darstellungen vortrainierter Netzwerke, um SoTA-Ergebnisse auch bei nicht-ASR-Aufgaben zu erzielen.