إزالة الغموض الدلالي باستخدام نماذج المحولات

في هذه الورقة، نتناول مهمة تفكيك معنى الكلمة (WSD). نقدّم نظامنا الذي تم إرساله إلى تحدي التحقق من المعنى المستهدف في سياق الكلمة، وهو جزء من ورشة العمل SemDeep المُقامة ضمن مؤتمر IJCAI 2020 (Breit et al., 2020). يطلب هذا التحدي من المشاركين التنبؤ بما إذا كان ذكر معين لكلمة في نص ما يتوافق مع معنى مُحدَّد مسبقًا. تعتمد طريقة عملنا على نماذج التحويل (transformer) المُدرَّبة مسبقًا مثل BERT، والتي تُعدّل دقيقًا على المهمة باستخدام استراتيجيات معمارية مختلفة. حقق نموذجنا أفضل دقة ودقة انتقائية في المهمة الفرعية 1، حيث تم استخدام التعريفات لاتخاذ القرار فيما إذا كان معنى الكلمة المستهدفة في السياق يتوافق مع المعنى المعطى أم لا. نعتقد أن الاستراتيجيات التي استكشفناها في سياق هذا التحدي يمكن أن تكون مفيدة لمهام أخرى في معالجة اللغة الطبيعية.