Social-BiGAT: التنبؤ بالمسارات متعددة الوسائط باستخدام Bicycle-GAN وشبكات الانتباه الرسمية البيانية

تنبؤ مسارات المستقبل لعدة عملاء تتفاعل مع بعضها البعض في مشهد أصبح مشكلة متزايدة الأهمية لتطبيقات مختلفة، بدءًا من التحكم في المركبات ذاتية القيادة والروبوتات الاجتماعية وصولاً إلى الأمن والمراقبة. تتضاعف هذه المشكلة بوجود التفاعلات الاجتماعية بين البشر وتفاعلاتهم المادية مع المشهد. بينما استكشفت الأدبيات الحالية بعض هذه العلامات، فقد أغفلت بشكل أساسي الطبيعة المتعددة الأوضاع لكل مسار بشري مستقبلي. في هذا البحث، نقدم Social-BiGAT، وهو شبكة مولدة معارضة قائمة على الرسم البياني (Generative Adversarial Network - GAN) تولد تنبؤات متعددة الأوضاع ومتوافقة مع الواقع من خلال نمذجة أفضل للتفاعلات الاجتماعية للمشاة في المشهد. تعتمد طريقتنا على شبكة انتباه الرسم البياني (Graph Attention Network - GAT) التي تتعلم تمثيلات خصائص موثوقة ترمز للتفاعلات الاجتماعية بين البشر في المشهد، وعلى هندسة كودر-فكودر متكررة (Recurrent Encoder-Decoder Architecture) يتم تدريبها بطريقة معارضة لتتنبأ بالمسارات البشرية بناءً على هذه الخصائص. نأخذ بعين الاعتبار الطبيعة المتعددة الأوضاع لمشكلة التنبؤ بشكل صريح من خلال إنشاء تحويل قابل للعكس بين كل مشهد ومتجه الضوضاء الكامنة الخاص به، كما هو الحال في Bicycle-GAN. نظهر أن إطارنا العملي يحقق أداءً رائدًا عند مقارنته بعدة نقاط أساسية على مقاييس التنبؤ بالمسارات الموجودة حاليًا.