HyperAIHyperAI

Command Palette

Search for a command to run...

SemBleu : Une Métrique Robuste pour l'Évaluation de la Parsage AMR

Linfeng Song; Daniel Gildea

Résumé

L'évaluation de la précision du parsing AMR (Abstract Meaning Representation) implique la comparaison de paires de graphes AMR. La principale métrique d'évaluation, SMATCH (Cai et Knight, 2013), recherche des correspondances un-à-un entre les nœuds de deux AMRs à l'aide d'un algorithme de montée en gradient glouton, ce qui entraîne des erreurs de recherche. Nous proposons SEMBLEU, une métrique robuste qui étend BLEU (Papineni et al., 2002) aux AMRs. Elle ne souffre pas d'erreurs de recherche et prend en compte les correspondances non locales en plus des correspondances locales. SEMBLEU est entièrement axée sur le contenu et pénalise les situations où la sortie du système ne préserve pas la plupart des informations de l'entrée. Des expériences préliminaires menées à la fois au niveau des phrases et des corpus montrent que SEMBLEU présente une légère supériorité en termes de cohérence avec les jugements humains par rapport à SMATCH. Notre code est disponible à l'adresse http://github.com/freesunshine0316/sembleu.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
SemBleu : Une Métrique Robuste pour l'Évaluation de la Parsage AMR | Articles | HyperAI