فهم المشاهد الديناميكية باستخدام شبكات الت convolution الرسومية

نقدّم إطارًا جديدًا يعتمد على شبكة ت.Convolutional متعددة العلاقات (MRGCN) لتمثيل سلوك المركبات على الطرق، وذلك من خلال تسلسل من الإطارات المرتبة زمنيًا التي تم التقاطها بواسطة كاميرا مونوكولار متحركة. يُعدّ الرسم البياني متعدد العلاقات المدخل إلى MRGCN هو الرسم البياني الذي تمثل فيه العقد تمثيل الوكالات/الكائنات النشطة والسلبية في المشهد، بينما تمثل الحواف الثنائية الاتجاه بين كل زوج من العقد ترميز العلاقات المكانية-الزمنية بينها. ونُظهر أن هذا الترميز الصريح والاستخدام المتعمد لرسم بياني تفاعلي مكاني-زمني وسيط يكون مناسبًا جدًا لمهماتنا مقارنةً بتعلم التمثيل المباشر من النهاية إلى النهاية على مجموعة من العلاقات المكانية المرتبة زمنيًا. كما نقترح آلية انتباه لشبكات MRGCN تُحدّد ديناميكيًا حسب المشهد أهمية المعلومات المستمدة من أنواع التفاعلات المختلفة. ويحقق الإطار المقترح تحسنًا كبيرًا في الأداء مقارنة بالطرق السابقة في مهام تصنيف سلوك المركبات على أربع مجموعات بيانات. كما نُظهر إمكانية نقل التعلم بشكل سلس إلى عدة مجموعات بيانات دون الحاجة إلى التخصيص الدقيق (fine-tuning). وتُعدّ هذه الطرق للتنبؤ بالسلوك ذات صلة فورية بمجموعة واسعة من مهام التوجيه، مثل التخطيط للسلوك، وتقدير الحالة، والتطبيقات المتعلقة باكتشاف مخالفات المرور في مقاطع الفيديو.