SemBleu : Une Métrique Robuste pour l'Évaluation de la Parsage AMR

L'évaluation de la précision du parsing AMR (Abstract Meaning Representation) implique la comparaison de paires de graphes AMR. La principale métrique d'évaluation, SMATCH (Cai et Knight, 2013), recherche des correspondances un-à-un entre les nœuds de deux AMRs à l'aide d'un algorithme de montée en gradient glouton, ce qui entraîne des erreurs de recherche. Nous proposons SEMBLEU, une métrique robuste qui étend BLEU (Papineni et al., 2002) aux AMRs. Elle ne souffre pas d'erreurs de recherche et prend en compte les correspondances non locales en plus des correspondances locales. SEMBLEU est entièrement axée sur le contenu et pénalise les situations où la sortie du système ne préserve pas la plupart des informations de l'entrée. Des expériences préliminaires menées à la fois au niveau des phrases et des corpus montrent que SEMBLEU présente une légère supériorité en termes de cohérence avec les jugements humains par rapport à SMATCH. Notre code est disponible à l'adresse http://github.com/freesunshine0316/sembleu.