Nous présentons une nouvelle famille de techniques d'estimation des modèles de langage (LM) appelée estimation par Matrice Creuse Non-négative (SNM). Un premier ensemble d'expériences évaluant empiriquement ces techniques sur le Benchmark du Milliard de Mots montre que les modèles $n$n-grammes SNM se comportent presque aussi bien que les modèles Kneser-Ney (KN) bien établis. Lorsqu'on utilise des caractéristiques skip-gram, les modèles sont capables d'égaler les performances des modèles de langage à réseau neuronal récurrent (RNN) de pointe ; la combinaison des deux techniques de modélisation donne le meilleur résultat connu sur ce benchmark. Les avantages computationnels de l'estimation SNM par rapport aux estimations des modèles de langage à entropie maximale et aux RNN LM constituent probablement sa principale force, promettant une approche qui offre la même flexibilité pour combiner efficacement des caractéristiques arbitraires tout en s'adaptant gracieusement à de très grandes quantités de données, comme le font les modèles $n$n-grammes.