HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 4 أشهر

إكمال المشهد الشكلي المعتمد على التوجيه الشكلي ثنائي الأبعاد

{DaCheng Tao Liqiang Nie Rongrong Ji Hongxun Yao Shengping Zhang Haozhe Xie Xianzhu Liu}

الملخص

يهدف إكمال المشهد الدلالي (SSC) إلى إنجاز مهام إكمال المشهد (SC) والتنبؤ بفئات دلالية لمشهد ثلاثي الأبعاد من خلال صورة عمق واحدة و/أو صورة RGB. تواجه معظم الطرق الحالية لإكمال المشهد الدلالي صعوبات في التعامل مع المناطق المعقدة التي تحتوي على كثرة كائنات متقاربة، خصوصًا الكائنات ذات الأسطح الانعكاسية أو الداكنة. ويعود ذلك في الأساس إلى تحديين رئيسيين: (1) فقدان المعلومات الهندسية الناتج عن عدم موثوقية قيم العمق المُستخلصة من أجهزة الاستشعار، و(2) احتمال حدوث تشويش دلالي عند محاولة التنبؤ بالأشكال ثلاثية الأبعاد والعلامات الدلالية في آنٍ واحد. ولحل هذه المشكلات، نقترح إطارًا جديدًا يُسمى SG-SSC (إكمال المشهد الدلالي المُرشد دلاليًا)، والذي يتضمن وحدة تجميع مُرشدة دلاليًا (SGF) ووحدة تنبؤ دلالي مُرشدة بالحجم (VGSP). تعتمد SGF على خرائط التصنيف الدلالي ثنائية الأبعاد لدمج ميزات RGB والعمق بشكل تكيفي، بهدف تعويض المعلومات الهندسية المفقودة الناتجة عن القيم المفقودة في صور العمق، مما يعزز من موثوقية الأداء أمام معلومات عمق غير موثوقة. أما VGSP، فيستفيد من الفائدة المتبادلة بين مهام إكمال المشهد والمشهد الدلالي، مما يجعل SSC أكثر تركيزًا على التنبؤ بفئات المكعبات (الفاكسلز) ذات الاحتمالات العالية للاشتمال، كما يسمح لمهام إكمال المشهد باستغلال المعرفة الدلالية السابقة لتحسين تنبؤات اشتمال المكعبات. أظهرت النتائج التجريبية أن نموذج SG-SSC يتفوق على الطرق الحالية المتطورة في مجموعات بيانات NYU وNYUCAD وSemanticKITTI. يمكن الوصول إلى النماذج والكود من خلال الرابط: https://github.com/aipixel/SG-SSC.

المعايير القياسية

معيار قياسيالمنهجيةالمقاييس
3d-semantic-scene-completion-on-nyuv2SG-SSC
mIoU: 55.4
3d-semantic-scene-completion-on-semantickittiSG-SSC
mIoU: 12.9

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp