مقاييس مماثلة AMR من المبادئ

تم اقتراح مقاييس مختلفة لمقارنة رسومات التمثيل المعنوي المجرد (AMR). تُعد مقاييس Smatch الكلاسيكية (Cai وKnight، 2013) التي تُجري محاذاة بين المتغيرات في رسومتين وتقيس مطابقة الثلاثيات، من الأدوات الشائعة. أما مقاييس SemBleu الحديثة (Song وGildea، 2019)، فهي مستوحاة من معيار ترجمة الآلة Bleu (Papineni وآخرون، 2002)، وتُحسّن الكفاءة الحسابية من خلال إزالة عملية محاذاة المتغيرات.في هذه الورقة، أولاً، نُحدِّد معايير تُمكّن الباحثين من إجراء تقييم منهجي للمقاييس المستخدمة في مقارنة تمثيلات المعنى مثل AMR؛ ثانيًا، نُجري تحليلًا شاملاً لمقاييس Smatch وSemBleu، ونُبيّن أن الأخير يُظهر بعض الخصائص غير المرغوبة، مثل عدم الامتثال لقاعدة الهوية المُتَّسِقة (identity of indiscernibles)، ووجود تحيزات صعبة التحكم بها؛ ثالثًا، نُقدّم مقاييسًا جديدًا يُسمى S$^2$match، والذي يُظهر تسامحًا أكبر تجاه التغيرات البسيطة جدًا في المعنى، ويُركّز على تحقيق جميع المعايير المُحددة سابقًا. ونُقيّم مدى ملاءمة هذا المقياس، ونُظهر مزاياه مقارنةً بـ Smatch وSemBleu.