L’évaluation automatique de la lisibilité (ARA), qui consiste à attribuer un niveau de lecture à un texte, est traditionnellement traitée comme un problème de classification en recherche en traitement du langage naturel (NLP). Dans cet article, nous proposons la première approche neuronale basée sur le classement par paires pour l’ARA, que nous comparons aux méthodes existantes de classification, de régression et de classement (non neuronales). Nous établissons la performance de notre modèle à l’aide d’expériences menées sur trois jeux de données en anglais, un en français et un en espagnol. Nous démontrons que notre approche se distingue particulièrement dans des scénarios de test monolingue, qu’ils soient sur un même corpus ou croisés, et atteint une précision de classement à zéro-shot supérieure à 80 % pour le français et l’espagnol lorsqu’elle est entraînée sur des données en anglais. En outre, nous mettons également à disposition un nouveau jeu de données parallèle bilingue sur la lisibilité, en anglais et en français. À notre connaissance, cet article présente le premier modèle neuronal de classement par paires pour l’ARA, et rapporte les premiers résultats d’évaluation translingue à zéro-shot de l’ARA avec des modèles neuronaux.