سيناريو: الاستدلال حول مشاهد المرور باستخدام الشبكات العصبية الرسومية الموحدة

فهم مشاهد المرور يتطلب أخذ المعلومات المتنوعة المتعلقة بالوكالات الديناميكية والبنية التحتية الثابتة بعين الاعتبار. في هذا العمل، نقترح منهجية SCENE، والتي تهدف إلى تمثيل مشاهد المرور المتنوعة باستخدام رسوم بيانية متنوعة (heterogeneous graphs)، واستنتاج الاستنتاجات من هذه الرسوم باستخدام مشغل رئيسي يعتمد على شبكة عصبونية بيانية متنوعة (heterogeneous Graph Neural Network) ومشغلات فك تشفير مخصصة للمهام. تتكون الرسومات المتنوعة، التي تُحدد هياكلها بواسطة أصل معرفي (ontology)، من عقد مختلفة ذات ميزات عقدة محددة بنوعها، وعلاقات مختلفة ذات ميزات حافة محددة بنوعها. وللتمكّن من استغلال جميع المعلومات المتوفرة في هذه الرسومات، نقترح استخدام طبقات متسلسلة من التقوسات البيانية (graph convolution). ويؤدي ذلك إلى تشفير شامل للساحة (scene encoding). يمكن تطبيق مشغلات فك تشفير مخصصة للمهام للتنبؤ بالخصائص المرغوبة في الساحة. أظهرت التقييمات الواسعة على مهام تصنيف عقد ثنائية متنوعة أن القوة الأساسية لهذا المنهجية تكمن في قدرته على التفوق حتى على النماذج المخصصة للمهام، رغم كونه منهجية عامة. كما أظهرت التطبيقات الإضافية لهذا المنهجية على مهام تصنيف العقد في مختلف الرسوم المعرفية (knowledge graphs) قابليته للنقل إلى مجالات أخرى.