DELTAS: تقدير العمق من خلال التعلم المثلثي وتكتيف النقاط النادرة

التعددية ثلاثية الأبعاد (MVS) هي الوسط الذهبي بين دقة استشعار العمق النشط وعمليات تقدير العمق الأحادي. لقد تحسنت دقة أنظمة MVS بشكل كبير بفضل الأساليب القائمة على حجم التكلفة التي تستعمل شبكات العصبونات المتعددة الأبعاد (CNNs). ومع ذلك، فإن هذه الدقة تأتي بثمن حسابي مرتفع يعيق التبني العملي. متميزًا عن أساليب حجم التكلفة، نقترح منهجًا فعالًا لتقدير العمق يتضمن أولاً (أ) اكتشاف وتقييم الموصفات للنقاط ذات الاهتمام، ثم (ب) تعلم كيفية مطابقة وتثليث مجموعة صغيرة من النقاط ذات الاهتمام، وأخيراً (ج) زيادة كثافة هذه المجموعة النادرة من النقاط ثلاثية الأبعاد باستخدام CNNs. تقوم شبكة من النهاية إلى النهاية بكفاءة بأداء جميع الخطوات الثلاث ضمن إطار التعلم العميق وتم تدريبها باستخدام إشراف هندسي ثنائي الأبعاد وإشراف عمق ثلاثي الأبعاد بالإضافة إلى الإشراف على العمق. وبشكل حاسم، يكمل خطوتنا الأولى تقدير الوضع باستخدام اكتشاف النقاط ذات الاهتمام وتعلم الموصفات. نثبت تحقيق نتائج رائدة في تقدير العمق مع أقل قدر من الحسابات لمختلف طول المشاهد. بالإضافة إلى ذلك، تنطبق طريقتنا على بيئات جديدة والموصفات التي تنتجها شبكتنا تقارن بشكل ملائم مع القواعد الأساسية القوية.الرمز البرمجي متاح في: https://github.com/magicleap/DELTAS