الملخص
تقييم دقة تحليل AMR ينطوي على مقارنة أزواج من رسومات AMR. المقياس التقييمي الرئيسي، SMATCH (Cai و Knight، 2013)، يقوم بالبحث عن تطابقات واحد لواحد بين عقدتي AMR باستخدام خوارزمية تسلق التل الجشعة، مما يؤدي إلى أخطاء البحث. نقترح SEMBLEU، وهو مقياس قوي يمتد من BLEU (Papineni et al.، 2002) إلى AMRs. لا يعاني هذا المقياس من أخطاء البحث ويأخذ في الاعتبار التطابقات غير المحلية بالإضافة إلى التطابقات المحلية. SEMBLEU مدفوع بالكامل بالمحتوى ويُعاقب الحالات التي لا تحتفظ فيها إخراجة النظام بأغلب المعلومات الواردة من الإدخال. تجارب أولية على مستويات الجملة والمجموعة النصية تظهر أن SEMBLEU يتمتع بتوافق أعلى قليلاً مع الأحكام البشرية مقارنة بـ SMATCH. رمزنا البرمجي متاح على http://github.com/freesunshine0316/sembleu.