HyperAIHyperAI

Command Palette

Search for a command to run...

Librispeech-Transducer-Modell mit interner Sprachmodell-Vorrichtungskorrektur

Albert Zeyer André Merboldt Wilfried Michel Ralf Schlüter Hermann Ney

Zusammenfassung

Wir präsentieren unser Transducer-Modell auf der Librispeech-Datenbank. Wir untersuchen Varianten, bei denen ein externes Sprachmodell (LM) mittels Shallow Fusion integriert und ein geschätztes internes LM subtrahiert wird. Dies wird durch eine bayessche Interpretation gerechtfertigt, bei der das Prior des Transducer-Modells durch das geschätzte interne LM gegeben ist. Die Subtraktion des internen LM führt zu einer Verbesserung um über 14 % im relativen Sinne gegenüber der herkömmlichen Shallow Fusion. Unser Transducer verfügt über eine separate Wahrscheinlichkeitsverteilung für die Nicht-Blank-Label, was eine einfachere Kombination mit dem externen LM sowie eine einfachere Schätzung des internen LM ermöglicht. Zudem achten wir darauf, die End-of-Sentence-(EOS)-Wahrscheinlichkeit des externen LM in die letzte Blank-Wahrscheinlichkeit einzubeziehen, was die Leistung weiter verbessert. Alle unseren Quellcodes und Konfigurationen sind veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp