HyperAIHyperAI

Command Palette

Search for a command to run...

ContextNet: Verbesserung von Convolutional Neural Networks für die automatische Spracherkennung durch globale Kontextinformationen

Wei Han Zhengdong Zhang Yu Zhang Jiahui Yu Chung-Cheng Chiu James Qin Anmol Gulati Ruoming Pang Yonghui Wu

Zusammenfassung

Convolutionale neuronale Netze (CNN) haben vielversprechende Ergebnisse für end-to-end-Spracherkennung gezeigt, sind jedoch weiterhin hinter anderen state-of-the-art-Methoden hinsichtlich der Leistungsfähigkeit zurückgeblieben. In diesem Paper untersuchen wir, wie dieser Leistungsunterschied geschlossen und darüber hinausgegangen werden kann, indem wir eine neuartige CNN-RNN-Transducer-Architektur vorstellen, die wir ContextNet nennen. ContextNet verfügt über einen vollständig convolutionalen Encoder, der globale Kontextinformationen in die Faltungsoperationen integriert, indem Squeeze-and-Excitation-Module hinzugefügt werden. Darüber hinaus schlagen wir eine einfache Skalierungsmethode vor, die die Breite von ContextNet anpasst und ein gutes Verhältnis zwischen Rechenaufwand und Genauigkeit erzielt. Wir zeigen, dass ContextNet auf dem weit verbreiteten LibriSpeech-Benchmark eine Wortfehlerquote (WER) von 2,1 %/4,6 % erreicht, ohne externe Sprachmodelle (LM), 1,9 %/4,1 % mit LM und 2,9 %/7,0 % bei lediglich 10 M Parametern auf den Testsets „clean“ und „noisy“ von LibriSpeech. Dies stellt eine Verbesserung gegenüber dem bisher besten veröffentlichten System dar, das 2,0 %/4,6 % mit LM und 3,9 %/11,3 % bei 20 M Parametern erreichte. Die Überlegenheit des vorgeschlagenen ContextNet-Modells wird zudem an einem viel größeren internen Datensatz bestätigt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp