شبكة انتباه الرسم البياني ذات النواة المختلطة للتعرف على الحالة

فهم الصور بما يتجاوز الأفعال البارزة يتطلب التفكير في سياق المشهد، والكائنات، والوظائف التي تؤديها في الحدث المُلتقط. وقد تم مؤخرًا تقديم مهمة التعرف على الوضع (Situation Recognition) كمهمة تهدف إلى التفكير المشترك في الأفعال (الإجراءات) وعدد من أزواج الأدوار(semantic-role) والكائنات (الأسماء) على شكل "إطارات إجرائية". يتطلب وضع العلامة على صورة باستخدام إطار إجرائي تعيين قيم (أسماء) للدور الوظيفي بناءً على محتوى الصورة المُلاحظ. ومن بين التحديات الجوهرية التي تواجه هذه المهمة: التعقيد الهيكلي الشرطي الغني بين تعيينات الأدوار الناتجة، وندرة الدلالة الشاملة. في هذه الورقة، نقترح معمارية جديدة لشبكة عصبية رسمية (GNN) تعتمد على خليط أنوية الانتباه (mixture-kernel attention)، مصممة لمعالجة هذه التحديات. تتيح هذه الشبكة هيكل رسم بياني ديناميكي أثناء التدريب والاستنتاج، من خلال استخدام آلية انتباه الرسم البياني، وتحفيز تفاعلات واعية بالسياق بين أزواج الأدوار. ونُظهر فعالية نموذجنا واختيارات التصميم من خلال إجراء تجارب على مجموعة بيانات معيارية imSitu، حيث حقق النموذج تحسنًا في الدقة يصل إلى 10% مقارنة بأفضل النماذج الحالية.