التصنيف المشترك للهياكل ثلاثية الأبعاد والكشف عن الكائنات للقيادة الذاتية

حاليًا، في القيادة الذاتية (AD)، يُعامل معظم إطارات كشف الأجسام ثلاثية الأبعاد (سواءً تلك القائمة على المُعطيات أو غير القائمة عليها) عملية الكشف كمشكلة انحدار مربع حدودي (BBox). ومع ذلك، فإن هذا التمثيل المكثف لا يكفي لاستكشاف جميع المعلومات المتعلقة بالكائنات. ولحل هذه المشكلة، نقترح إطارًا بسيطًا ولكنه عملي للكشف، يُجري التنبؤ المشترك بين مربع الحدود الثلاثي الأبعاد (3D BBox) والتقسيم الحديدي للInstances. وبالنسبة إلى التقسيم الحديدي للInstances، نقترح استراتيجية تُسمى "الإدخالات المكانية (SEs)"، التي تجمع جميع النقاط المُضيئة (التي تمثل الكائنات) وتجعلها تتجمع حول مراكز الكائنات المقابلة لها. وباستنادًا إلى نتائج الإدخالات المكانية، يمكن توليد اقتراحات الكائنات باستخدام استراتيجية تجميع بسيطة. ولفعل كل مجموعة، يتم إنتاج اقتراح واحد فقط، وبالتالي يُلغى الحاجة إلى عملية إزالة الحد الأقصى غير المُتداخل (NMS) هنا. وأخيرًا، وباستخدام طريقة تجميع ROIs المُستندة إلى الوعي بالـInstance التي اقترحناها، يتم تحسين مربع الحدود بواسطة شبكة من المرحلة الثانية. وأظهرت النتائج التجريبية على مجموعة بيانات KITTI العامة أن الإدخالات المكانية (SEs) التي اقترحناها تُحسّن بشكل ملحوظ نتائج التقسيم الحديدي مقارنةً بالطرق الأخرى القائمة على التضمين المميز. وفي الوقت نفسه، تتفوق أيضًا على معظم كواشف الأجسام الثلاثية الأبعاد في معيار التقييم على مجموعة بيانات KITTI.