Le texte dans de nombreux domaines implique une quantité importante d'entités nommées. La prédiction des noms d'entités est souvent un défi pour un modèle de langage en raison de leur faible fréquence dans le corpus d'entraînement. Dans cet article, nous proposons une nouvelle approche efficace pour construire un modèle de langage discriminatif capable d'apprendre les noms d'entités en utilisant leurs informations de type d'entité. Nous introduisons également deux jeux de données de référence basés sur des recettes et des codes de programmation Java, sur lesquels nous évaluons le modèle proposé. Les résultats expérimentaux montrent que notre modèle atteint une amélioration de 52,2 % en termes de perplexité pour la génération de recettes et de 22,06 % pour la génération de code par rapport aux modèles de langage les plus avancés actuellement disponibles.