Dans cet article, nous analysons plusieurs architectures de réseaux neuronaux (et leurs variantes) pour la modélisation de paires de phrases et comparons leur performance de manière exhaustive sur huit jeux de données, incluant l'identification de paraphrases, la similarité textuelle sémantique, l'inférence en langage naturel et les tâches de réponse à des questions. Bien que la plupart de ces modèles aient revendiqué une performance d'état de l'art, les articles originaux ont souvent rapporté leurs résultats sur un ou deux jeux de données sélectionnés seulement. Nous fournissons une étude systématique et montrons que (i) l'encodage des informations contextuelles par LSTM et les interactions inter-phrastiques sont cruciaux, (ii) le Tree-LSTM n'aide pas autant qu'on le prétendait précédemment mais améliore surprenamment les performances sur les jeux de données Twitter, (iii) le modèle d'Inférence Séquentielle Amélioré est le meilleur jusqu'à présent pour les grands jeux de données, tandis que le modèle d'Interaction Mot-à-Mot Paire atteint les meilleures performances lorsque moins de données sont disponibles. Nous mettons nos implémentations à disposition sous forme d'un outil open-source.