Nous présentons notre modèle transducteur sur LibriSpeech. Nous étudions différentes variantes incluant un modèle de langage externe (LM) par fusion légère, tout en soustrayant un modèle de langage interne estimé. Cette approche est justifiée par une interprétation bayésienne selon laquelle le prior du modèle transducteur est donné par le modèle de langage interne estimé. La soustraction du modèle de langage interne permet d’obtenir une amélioration relative de plus de 14 % par rapport à la fusion légère classique. Notre modèle transducteur utilise une distribution de probabilité distincte pour les étiquettes non-blancs, ce qui facilite à la fois la combinaison avec le modèle de langage externe et l’estimation du modèle de langage interne. En outre, nous prenons spécifiquement en compte la probabilité de fin de phrase (EOS) du modèle de langage externe dans la probabilité du dernier symbole blanc, ce qui améliore davantage les performances. Tous nos codes et configurations sont publiés.