要約
本稿では、言語モデルに対するトークンエントロピーの変動を最小化することを目的として設計された音声認識モデル「TEVR」を紹介する。このアプローチは、言語モデルがすでに確実かつ正確にトークンを予測できる場合、音響モデルがそのトークンを正確に認識する必要性が低下するという事実を活用している。9億パラメータを持つドイツ語音声認識モデルを訓練し、CommonVoiceドイツ語データセットにおいて、TEVRは3.64％という非常に競争力のある単語誤り率（WER）を達成した。これは、これまでに報告された最良の結果と比較して、相対的に16.89％のWER低減を実現している。今後、当研究で完全に訓練された音声認識パイプラインをコミュニティに公開することで、プライバシーを守りながらオフラインで動作する仮想アシスタントの実現に貢献することを期待している。