HyperAIHyperAI

Command Palette

Search for a command to run...

OccDepth: طريقة تُراعي العمق لاستكمال المشهد ثلاثي الأبعاد مع الدلالة

Ruihang Miao Weizhou Liu Mingrui Chen Zheng Gong Weixin Xu Chen Hu Shuchang Zhou

الملخص

يُمكن لاستكمال المشهد ثلاثي الأبعاد المعنوي (SSC) أن يوفر تمثيلات هندسية وكثيفة ومعنوية للمشهد، مما يجعله قابلاً للتطبيق في مجالات القيادة الذاتية والأنظمة الروبوتية. يُعدّ تقدير الهيكل الهندسي والمعنوي الكامل للمشهد من خلال الصور البصرية وحدها تحديًا كبيرًا، حيث يُعدّ الحصول على معلومات عمق دقيقة أمرًا حاسمًا لإعادة بناء البنية الهندسية ثلاثية الأبعاد. في هذه الورقة، نقترح أول طريقة لاستكمال المشهد ثلاثي الأبعاد المعنوي تعتمد على الصور الثنائية (Stereo SSC) تُسمى OccDepth، والتي تستغل بالكامل المعلومات الضمنية للعمق المستمدة من الصور الثنائية (أو الصور من نوع RGBD) لمساعدة استعادة الهياكل الهندسية ثلاثية الأبعاد. تم اقتراح وحدة تعيين الميزات الناعمة الثنائية (Stereo-SFA) لتحسين دمج الميزات ثلاثية الأبعاد المعتمدة على العمق من خلال تعلم الارتباط الضمني بين الصور الثنائية. وبشكل خاص، عند استخدام الصور من نوع RGBD، يمكن إنشاء صور ثنائية افتراضية من خلال الصورة RGB الأصلية وخرائط العمق. بالإضافة إلى ذلك، تُستخدم وحدة العمق المُدركة للحالة (OAD) لاستخلاص ميزات ثلاثية الأبعاد مُدركة للهندسة من خلال عملية نقل المعرفة (Knowledge Distillation) باستخدام نماذج عمق مُدرّبة مسبقًا. علاوةً على ذلك، تم تقديم معيار مُعدّل يُسمى SemanticTartanAir، وهو نسخة مُحدّثة من معيار TartanAir، لاختبار أداء طريقة OccDepth بشكل معمق في مهام استكمال المشهد ثلاثي الأبعاد. ومقارنةً بالأساليب المُتقدمة الحالية التي تستند إلى الصور RGB، أظهرت التجارب الواسعة على مجموعة بيانات SemanticKITTI تفوق أداء طريقة OccDepth، حيث سجلت تحسنًا بنسبة +4.82% في متوسط دقة التداخل (mIoU)، منها +2.49% نتيجة استخدام الصور الثنائية، و+2.33% ناتجة عن طريقة الميزات المُدركة للعمق التي اقترحناها. يمكن الوصول إلى الكود النموذجي والنماذج المُدرّبة عبر الرابط التالي: https://github.com/megvii-research/OccDepth.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
OccDepth: طريقة تُراعي العمق لاستكمال المشهد ثلاثي الأبعاد مع الدلالة | مستندات | HyperAI