التعلم المُمَثَّل المُوجَّه بمعنى لتنبؤات السلوك

تُعد مُقدّمة السلوك المُستقبلي مهمة تنبؤ النشاطات المستقبلية من خلال تسلسل جزئي من الأحداث. ومع ذلك، تُعرّض هذه المهمة للغموض الداخلي المُتعلّق بالمستقبل، بالإضافة إلى الصعوبة الناتجة عن التفكير في التفاعلات المتشابكة بين الأفعال. على عكس الدراسات السابقة التي ركّزت على استخلاص معلومات بصرية وزمنية أفضل، نحن نركّز على تعلُّم تمثيلات للأنشطة تأخذ بعين الاعتبار الترابط الدلالي بينها، استنادًا إلى أنماط أفعال نموذجية وتوافرها المُتكرر في السياق. من أجل تحقيق ذلك، نقترح إطارًا جديدًا يُدعى التعلُّم التمثيلي المُوجَّه دلاليًا (S-GEAR). يتعلّم S-GEAR نماذج بصرية للأفعال، ويستفيد من نماذج اللغة لتنظيم العلاقات بينها، مما يُعزز الطابع الدلالي. ولجمع رؤى حول فعالية S-GEAR، قُمنا باختباره على أربع معايير مُستقلة لتنبؤ السلوك، وحقّق نتائج مُحسّنة مقارنة بالدراسات السابقة: زيادة قدرها +3.5 و+2.7 و+3.5 نقطة مطلقة في دقة الترتيب الأول (Top-1 Accuracy) على معايير Epic-Kitchen 55 وEGTEA Gaze+ و50 Salads على التوالي، وزيادة قدرها +0.8 في معدّل الاسترجاع للترتيب الخامس (Top-5 Recall) على Epic-Kitchens 100. كما لاحظنا أن S-GEAR يُحوّل بنجاح العلاقات الهندسية بين الأفعال من اللغة إلى النماذج البصرية. وأخيرًا، يُفتح S-GEAR آفاقًا بحثية جديدة في مهام التنبؤ من خلال إظهار التأثير المعقد للترابط الدلالي بين الأفعال.