Différents métriques ont été proposées pour comparer les graphes de Représentation Abrégée du Sens (AMR). La métrique canonique Smatch (Cai et Knight, 2013) aligne les variables de deux graphes et évalue les correspondances entre triples. La métrique récente SemBleu (Song et Gildea, 2019), inspirée du score de traduction automatique Bleu (Papineni et al., 2002), améliore l'efficacité computationnelle en éliminant l'étape d'alignement des variables.Dans cet article, i) nous établissons des critères permettant aux chercheurs d’évaluer de manière rigoureuse les métriques comparant les représentations sémantiques telles que l’AMR ; ii) nous menons une analyse approfondie de Smatch et de SemBleu, montrant que cette dernière présente certaines propriétés indésirables : par exemple, elle ne respecte pas la règle de l’identité des indiscernables et introduit des biais difficiles à contrôler ; iii) nous proposons une nouvelle métrique, S$^2$2match, plus tolérante aux légères variations sémantiques et conçue pour satisfaire l’ensemble des critères établis. Nous évaluons sa pertinence et démontrons ses avantages par rapport à Smatch et SemBleu.