WiC-TSV: معيار تقييم لتحقق المعنى المستهدف للكلمات في السياق

نقدّم WiC-TSV، وهي معيار تقييم متعدد المجالات جديد لتحديد المعنى الدقيق للكلمات. وبشكل أكثر تحديدًا، نُقدّم إطارًا لـ "التحقق من المعنى المستهدف للكلمات في السياق"، والذي يتميز بتميّزه من خلال صياغته كمهمة تصنيف ثنائي، مما يجعله مستقلًا عن المخازن المعجمية الخارجية، ويوفر تغطية واسعة لمجالات متنوعة. وهذا يُعدّ المجموعة بيانات مرنة للغاية لتقييم مجموعة متنوعة من النماذج والأنظمة داخل المجالات وعبرها. تقدّم WiC-TSV ثلاث بيئات تقييم مختلفة، اعتمادًا على الإشارات المدخلة التي تُقدّم إلى النموذج. وقد حددنا أداءً أساسيًا على هذه المجموعة باستخدام نماذج لغوية حديثة جدًا. أظهرت النتائج التجريبية أن النماذج، رغم قدرتها على الأداء الجيد في المهمة، لا يزال هناك فجوة بين الأداء البشري والأداء الآلي، خاصة في البيئات التي تخرج عن المجال المدرّب عليها. يمكن الوصول إلى بيانات WiC-TSV عبر الرابط التالي: https://competitions.codalab.org/competitions/23683