تعلم تغييرات الأفعال بقياس العلاقات النصية بين الفعل والظروف

الهدف من هذا العمل هو فهم الطريقة التي يتم بها تنفيذ الأفعال في مقاطع الفيديو. بعبارة أخرى، عند تقديم مقطع فيديو، نسعى إلى التنبؤ بضمير يشير إلى التعديل المطبق على الفعل (مثل: قطع "بشكل دقيق" (finely)). نعتبر هذه المشكلة كمهمة تحليلية (regression task). نقيس العلاقات النصية بين الأفعال والضمائر لتقديم هدف تحليلي يمثل التغيير في الفعل الذي نرغب في تعلميه. نختبر نهجنا على مجموعة متنوعة من القواعد البيانات ونحقق أفضل النتائج الحالية في كل من التنبؤ بالضمائر تصنيف الضد. بالإضافة إلى ذلك، نتفوق على الأعمال السابقة عندما نرفع شرطين يُفترض عادةً: توفر علامات الأفعال أثناء الاختبار وتوافق الضمائر كأضداد. القواعد البيانات الموجودة للاعتراف بالضمائر إما مليئة بالأخطاء، مما يجعل التعلم صعبًا، أو تحتوي على أفعال لا تتأثر بمظهرها بسبب الضمائر، مما يجعل التقييم أقل ثقة. لمعالجة هذا الأمر، جمعنا قاعدة بيانات جديدة ذات جودة عالية: الضمائر في الوصفات (Adverbs in Recipes (AIR)). ركزنا على مقاطع الفيديو التعليمية للوصفات، حيث اخترنا مجموعة من الأفعال التي تظهر فيها تغيرات بصرية ذات معنى عند تنفيذها بشكل مختلف. تم تقليم مقاطع الفيديو في AIR بشكل أكثر دقة وقد تم مراجعتها يدويًا بواسطة عدة مصححين لضمان جودة العلامات المرتفعة. تظهر النتائج أن النماذج تتعلم بشكل أفضل من AIR بفضل مقاطع الفيديو الأكثر نقاءً. وفي الوقت نفسه، يعتبر التنبؤ بالضمائر في AIR تحديًا، مما يدل على وجود مجال كبير للتحسين.