Les grammaires de réseaux de neurones récurrents (RNNG) sont une famille de modèles génératifs probabilistes pour le langage naturel qui a été proposée récemment. Elles montrent des performances d'état de l'art en modélisation linguistique et en analyse syntaxique. Nous examinons les informations qu'elles apprennent, sous un angle linguistique, à travers diverses ablations du modèle et des données, ainsi que par l'ajout d'un mécanisme d'attention (GA-RNNG) pour permettre une inspection plus approfondie. Nous constatons que la modélisation explicite de la composition est cruciale pour atteindre les meilleures performances. Grâce au mécanisme d'attention, nous découvrons que la directionnalité joue un rôle central dans la représentation phrasale (avec l'attention latente du modèle largement en accord avec les prédictions faites par des règles de tête élaborées manuellement, bien qu'il y ait quelques différences importantes). En formant des grammaires sans étiquettes non terminales, nous trouvons que les représentations phrasales dépendent très peu des non terminaux, ce qui soutient l'hypothèse de l'endocentricité.