SUTD-TrafficQA: معيار إجابة الأسئلة وشبكة فعّالة للاستدلال على الفيديو حول الأحداث المرورية

إن التعرف على الأحداث المرورية والاستدلال عليها في الفيديوهات يُعد مهمة مهمة تمتلك تطبيقات واسعة في النقل الذكي والقيادة المساعدة والمركبات ذاتية القيادة. في هذه الورقة البحثية، نُقدِّم مجموعة بيانات جديدة تُسمى SUTD-TrafficQA (الاستجابة على أسئلة المرور)، والتي تتخذ شكل استجابة الأسئلة المرتبطة بالفيديوهات، مبنية على 10,080 فيديو تم جمعها من البيئات الواقعية، مع 62,535 زوجًا من الأسئلة والإجابات المُعلَّمة، بهدف تقييم القدرة الإدراكية لنماذج الاستدلال السببي وفهم الأحداث في سيناريوهات المرور المعقدة. وبشكل خاص، نقترح 6 مهام استدلال صعبة تتوافق مع أنواع مختلفة من سيناريوهات المرور، بهدف تقييم القدرة على الاستدلال على مختلف الأحداث المرورية المعقدة والواقعة في الحياة الواقعية. علاوةً على ذلك، نقترح نموذجًا جديدًا يُسمى Eclipse، وهو شبكة فعالة للرؤية المُتعددة من خلال الاستدلال الديناميكي، بهدف تحقيق استدلال فيديو فعّال من حيث الحساب وموثوق. وتُظهر النتائج التجريبية أن طريقة العمل لدينا تحقق أداءً متفوقًا مع تقليل كبير في تكلفة الحساب. صفحة المشروع: https://github.com/SUTDCV/SUTD-TrafficQA.