Le langage naturel est structuré de manière hiérarchique : des unités plus petites (par exemple, des groupes nominaux) sont imbriquées au sein d'unités plus grandes (par exemple, des propositions). Lorsqu'une unité plus grande se termine, toutes les unités plus petites qui y sont imbriquées doivent également être fermées. Bien que l'architecture LSTM standard permette à différents neurones de suivre des informations à différentes échelles temporelles, elle ne présente pas un biais explicite en faveur de la modélisation d'une hiérarchie d'unités. Cet article propose d'ajouter un tel biais inductif en ordonnant les neurones ; un vecteur de portes d'entrée et d'oubli maîtres garantit que lorsque l'un des neurones est mis à jour, tous les neurones qui le suivent dans l'ordre le sont également. Notre nouvelle architecture récurrente, LSTM à neurones ordonnés (ON-LSTM), obtient de bons résultats sur quatre tâches différentes : modélisation du langage, analyse syntaxique non supervisée, évaluation syntaxique ciblée et inférence logique.