TR3D: نحو الكشف الفوري عن الأجسام ثلاثية الأبعاد داخل الأماكن المغلقة

في الآونة الأخيرة، أحدثت الت convolution 3D النادرة تحوّلاً في كشف الأجرام ثلاثية الأبعاد. حيث تُحقق أداءً مماثلاً للطرق القائمة على التصويت، تتميز الشبكات العصبية 3D (3D CNNs) بكفاءة عالية في استخدام الذاكرة وقابلية التوسع في المشاهد الكبيرة. ومع ذلك، لا يزال هناك مجال للتحسين. وباتباع نهج واعٍ وموجه نحو التطبيق في حل المشكلات، قمنا بتحليل أداء هذه الأساليب وتحديد نقاط الضعف. من خلال تطبيق تعديلات تُعالج المشكلات المكتشفة واحدة تلو الأخرى، توصلنا إلى نموذج TR3D: نموذج كشف كائنات ثلاثية الأبعاد كامل التباديل (fully-convolutional) سريع، تم تدريبه بشكل متكامل (end-to-end)، ويحقق أداءً متميزًا على المعايير القياسية، بما في ذلك ScanNet v2 وSUN RGB-D وS3DIS. علاوةً على ذلك، وللاستفادة من كلا نوعي المدخلات (السحابة النقطية والصورة RGB)، قمنا بتطوير دمج مبكر بين السمات الثنائية الأبعاد والثلاثية الأبعاد. ونستخدم وحدة الدمج هذه لتحويل الطرق التقليدية لكشف الكائنات ثلاثية الأبعاد إلى طرق متعددة الوسائط (multimodal)، ونُظهر تحسناً ملحوظاً في الأداء. وتفوق نموذجنا الذي يعتمد على الدمج المبكر للسمات، والذي نشير إليه بـ TR3D+FF، جميع الطرق الحالية لكشف الكائنات ثلاثية الأبعاد على مجموعة بيانات SUN RGB-D. بشكل عام، لا تتميز نماذج TR3D وTR3D+FF فقط بالدقة العالية، بل تتميزان أيضًا بالخفّة، وكفاءة استخدام الذاكرة، والسرعة، مما يُعدّ خطوة مهمة أخرى نحو تحقيق كشف الكائنات ثلاثية الأبعاد في الزمن الحقيقي. يُمكن الاطلاع على الشفرة المصدرية عبر الرابط: https://github.com/SamsungLabs/tr3d.