الزمن سيُظهر: رؤى جديدة وقاعدة معيارية للكشف عن الكائنات ثلاثية الأبعاد متعددة المقاييس الزمنية

بينما تُستخدَم الطرق الحديثة للكشف ثلاثي الأبعاد باستخدام الكاميرا فقط عدة لحظات زمنية، فإن التاريخ المحدود الذي تستخدمه يُحدّ من مدى تحسين الدمج الزمني لفهم الكائنات. ولاحظنا أن الدمج الحالي للإطارات المتعددة في الدراسات السابقة يُعدّ حالة من حالات مطابقة الرؤية الزمنية (temporal stereo matching)، ونجد أن الأداء يُعاني من التفاعل بين 1) تفاصيل مطابقة الدقة المنخفضة، و2) التكوين غير الأمثل للرؤية المتعددة الناتج عن استخدام تاريخ محدود. تُظهر تحليلاتنا النظرية والتجريبية أن الفرق الزمني المثالي بين الرؤى يختلف بشكل كبير حسب كل بكسل وحسب العمق، مما يجعل من الضروري دمج العديد من اللحظات عبر تاريخ طويل. بناءً على هذا التحقيق، نقترح إنشاء حجم تكلفة (cost volume) من تاريخ طويل من ملاحظات الصور، مُكملاً لتفاصيل المطابقة الخشنة ولكن الفعالة بتكوين مثالي أكثر للرؤية المتعددة. علاوةً على ذلك، نُضَمّن التنبؤات العميقة الأحادية (monocular depth) لكل إطار المستخدمة في المطابقة الخشنة على المدى الطويل بعملية مطابقة دقيقة على المدى القصير، ونجد أن الدمج الزمني على المدى الطويل والقصير مكملان بشكل كبير. وب maintenir كفاءة عالية، يُحقّق إطار عملنا حالة جديدة من أفضل الأداء على مجموعة بيانات nuScenes، ويُحرز المركز الأول على مجموعة الاختبار، ويتفوّق على أفضل الأداء السابق بنسبة 5.2% في مقياس mAP و3.7% في مقياس NDS على مجموعة التحقق. سيتم إصدار الشفرة المصدرية $\href{https://github.com/Divadi/SOLOFusion}{هنا.}$