توقع التفاعل القصير المدى مع الأشياء باستخدام الكشف عن الأشياء المنفصل @ تحدي توقع التفاعل القصير المدى مع الأشياء في Ego4D

التوقع القصير للمعاملات بين الأشياء هو مهمة مهمة في تحليل الفيديو الذاتي البؤري، والتي تشمل التنبؤ الدقيق بالتفاعلات المستقبلية وأوقاتها وكذلك فئات وأماكن الأشياء النشطة المشاركة. لتبسيط تعقيد هذه المهمة، يفكك طريقة المقترحة لدينا، SOIA-DOD (توقع المعاملات القصيرة بين الأشياء - كشف الكائنات الديناميكي)، المهمة إلى 1) كشف الشيء النشط و2) تصنيف التفاعل وتوقع توقيته. أولاً، تقوم طريقة ours بكشف جميع الأشياء النشطة المحتملة في الإطار الأخير من الفيديو الذاتي البؤري من خلال ضبط نموذج YOLOv9 مُدرب مسبقًا. ثم، نقوم بدمج هذه الأشياء النشطة المحتملة كاستفسارات مع مُرمِّز الترانسفورمر، مما يتيح لنا تحديد الشيء النشط التالي الأكثر وعودًا وتوقع تفاعله المستقبلي ووقت الاتصال. تظهر نتائج التجارب أن طريقة المقترحة لدينا تتفوق على أفضل النماذج الحالية في مجموعة الاختبار الصعبة، حيث حققت أفضل الأداء في التنبؤ بالأشياء النشطة التالية وتفاعلاتها. أخيرًا، حصلت طريقة المقترحة لدينا على المركز الثالث بشكل عام في مؤشر mAP الخمسة العلوية عند تضمين توقعات وقت الاتصال. يمكن الوصول إلى الكود المصدر من الرابط: https://github.com/KeenyJin/SOIA-DOD.