RoarNet: نظام كشف الأشياء ثلاثي الأبعاد القوي المستند إلى تحسين تقريب المنطقة

نقدم RoarNet، وهي طريقة جديدة للكشف عن الأجسام ثلاثية الأبعاد من صورة ثنائية الأبعاد وسحابة نقاط ليدار (Lidar) ثلاثية الأبعاد. تعتمد هذه الطريقة على إطار عمل الكشف عن الأجسام بمرحلتين، مع استخدام PointNet كشبكة أساسية، ونقترح عدة أفكار مبتكرة لتحسين أداء الكشف عن الأجسام ثلاثية الأبعاد. يقدر الجزء الأول من طرقنا، RoarNet_2D، المواقع ثلاثية الأبعاد للأجسام من صورة أحادية العين، مما يحدد المناطق التي يجب فحصها بشكل أكثر دقة ويستخرج مرشحين متعددين متوافقين هندسيًا. هذا الخطوة تضيق بشكل كبير المناطق الثلاثية الأبعاد الممكنة، والتي تتطلب معالجة صعبة للسحابة النقاط الثلاثية الأبعاد في مجال بحث ضخم. ثم يقوم الجزء الثاني، RoarNet_3D، بأخذ المناطق المرشحة وإجراء استدلالات عميقة لإنهاء المواقع النهائية بطريقة تكرارية. مستوحاة من PointNet، تعالج RoarNet_3D السحابة النقاط الثلاثية الأبعاد مباشرة دون فقدان أي بيانات، مما يؤدي إلى اكتشاف دقيق. نقيم طريقتنا في KITTI، وهو معيار للكشف عن الأجسام ثلاثية الأبعاد. تظهر نتائجنا أن RoarNet لديها أداء أفضل من الطرق الرائدة المتاحة للجمهور. وبشكل ملحوظ، تتفوق RoarNet حتى على الطرق الرائدة في البيئات حيث لا يتم تنسيق زمني بين ليدار والكاميرا، وهو ما له أهمية عملية كبيرة للبيئات الحقيقية للقيادة. تم تنفيذ RoarNet باستخدام Tensorflow وهي متاحة للجمهور مع نماذج مسبقاً مدربة.