شبكة التقييم بدرجة التناسب العميقة لاكتشاف الأشياء ثلاثية الأبعاد من كاميرا واحدة

في هذا البحث، نقترح تعلم شبكة تقييم درجة التوافق العميقة للكشف عن الأشياء ثلاثية الأبعاد باستخدام كاميرا واحدة (monocular 3D object detection)، والتي تهدف إلى تقييم درجة التوافق بين الاقتراحات والأشياء بشكل قاطع. على عكس معظم الإطارات الحالية التي تعتمد على قيود صارمة للحصول على الموقع ثلاثي الأبعاد، فإن نهجنا يحقق تحديد موقع دقيق من خلال قياس درجة التوافق البصري بين الاقتراحات ثلاثية الأبعاد المُسَتَّفِذَة (projected 3D proposals) والشيء. أولاً، نقوم بتقدير البعد والتوجيه للشيء باستخدام طريقة مبنية على نقاط المرجعية (anchor-based method) حتى يمكن بناء اقتراح ثلاثي الأبعاد مناسب. نقترح FQNet، وهي شبكة قادرة على استنتاج تقاطع IoU الثلاثي الأبعاد بين الاقتراحات ثلاثية الأبعاد والشيء بناءً على مؤشرات ثنائية الأبعاد فقط. وبالتالي، أثناء عملية الكشف، نأخذ عينات كبيرة من المرشحين في الفضاء الثلاثي الأبعاد ونقوم بإسقاط هذه الصناديق الحدودية ثلاثية الأبعاد على الصورة ثنائية الأبعاد بشكل فردي. يمكن اختيار أفضل مرشح ببساطة من خلال استكشاف التقاطع المكاني بين الاقتراحات والشيء، وذلك في شكل درجة تقاطع IoU الثلاثي الأبعاد التي ينتجها FQNet. تجارب أجريت على مجموعة بيانات KITTI أثبتت فعالية إطار عملنا.