HyperAIHyperAI

Command Palette

Search for a command to run...

Iteratives Pseudo-Labeling für die Spracherkennung

Qiantong Xu Tatiana Likhomanenko Jacob Kahn Awni Hannun Gabriel Synnaeve Ronan Collobert

Zusammenfassung

Pseudo-Labeling hat in jüngster Zeit viel Versprechen in der end-to-end-automatischen Spracherkennung (ASR) gezeigt. Wir untersuchen das iterative Pseudo-Labeling (IPL), einen semi-supervisierten Algorithmus, der effizient mehrere Iterationen des Pseudo-Labeling auf unlabeled Daten durchführt, während sich das akustische Modell weiterentwickelt. Insbesondere feinjustiert IPL in jeder Iteration ein bestehendes Modell sowohl anhand gelabelter Daten als auch einer Teilmenge unlabeled Daten. Wir analysieren die zentralen Komponenten von IPL: die Dekodierung mit einem Sprachmodell und die Daten-Augmentation. Anschließend demonstrieren wir die Wirksamkeit von IPL, indem wir auf den Librispeech-Testsets sowohl in Standard- als auch in Low-Resource-Szenarien den derzeitigen Stand der Technik bezüglich der Wortfehlerquote erreichen. Außerdem untersuchen wir den Einfluss von Sprachmodellen, die auf unterschiedlichen Korpora trainiert wurden, um zu zeigen, dass IPL zusätzliche Textdaten effektiv nutzen kann. Schließlich veröffentlichen wir ein neues großes, in-domain Textkorpus, das keine Überlappung mit den Transkriptionen aus dem Librispeech-Trainingsdatensatz aufweist, um die Forschung im Bereich der Low-Resource- und semi-supervised ASR zu fördern.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp