الكشف عن الكائنات المشتركة والتتبع متعدد الكائنات باستخدام الشبكات العصبية الرسومية

تمثّل الكشف عن الكائنات وربط البيانات عنصرين حيويين في أنظمة تتبع الكائنات المتعددة (MOT). وعلى الرغم من أن هذين العنصرين يعتمدان على بعضهما البعض، فإن الدراسات السابقة غالبًا ما تصمّم وحدات الكشف وربط البيانات بشكل منفصل، حيث تُدرّب كل منهما وفقًا لأهداف منفصلة. ونتيجة لذلك، يصبح من المستحيل تمرير التدرجات للخلف (back-propagate gradients) وتحسين النظام الكامل لأنظمة تتبع الكائنات المتعددة، مما يؤدي إلى أداء غير مثالي. لمعالجة هذه المشكلة، اعتمد العمل الحديث على تحسين وحدات الكشف وربط البيانات في آنٍ واحد ضمن إطار مشترك لتتبع الكائنات المتعددة (joint MOT)، وقد أظهر هذا النهج تحسنًا في أداء كلا الوحدتين. في هذا العمل، نقترح نموذجًا جديدًا لنهج التتبع المشترك يعتمد على الشبكات العصبية الرسومية (GNNs). وال فكرة الأساسية هنا هي أن الشبكات العصبية الرسومية قادرة على نمذجة العلاقات بين الكائنات ذات الأحجام المتغيرة في المجالات المكانية والزمنية، وهي ميزة حاسمة لتعلم ميزات تمييزية للكشف وربط البيانات. ونُظهر من خلال تجارب واسعة على مجموعات بيانات MOT15/16/17/20 فعالية نهجنا القائم على GNNs في التتبع المشترك، ونُظهر أداءً يُعدّ من الأفضل على مستوى العالم في مهام الكشف والـMOT على حد سواء. يمكن الاطلاع على الكود الخاص بنا عبر الرابط التالي: https://github.com/yongxinw/GSDT