HyperAIHyperAI

Command Palette

Search for a command to run...

EPMF: دمج متعددة الحساسات الشاملة للإدراك بكفاءة للفصل الدلالي ثلاثي الأبعاد

Mingkui Tan Zhuangwei Zhuang Sitao Chen Rong Li Kui Jia Qicheng Wang Yuanqing Li

الملخص

ندرس دمج الاستشعار المتعدد للفصل الدلالي ثلاثي الأبعاد، وهو أمر بالغ الأهمية لفهم المشهد في العديد من التطبيقات مثل القيادة الذاتية والروبوتات. ومع ذلك، قد لا تحقق الطرق القائمة على الدمج أداءً مرضياً بسبب الفرق الكبير بين النوعين من البيانات. في هذا العمل، نستعرض نموذجًا متعاونًا للدمج يُسمى دمج الاستشعار المُدرك (PMF) لاستغلال المعلومات الإدراكية الفعّالة من نوعين من البيانات: المعلومات البصرية من الصور الملونة (RGB) والمعلومات الفضائية العميقة من السحابات النقطية (Point Clouds). لتحقيق ذلك، نقوم بتحويل السحابات النقطية إلى إحداثيات الكاميرا باستخدام التصوير المتناظر، ونُعالج كلا المدخلين من ليدار والكاميرات في الفضاء ثنائي الأبعاد مع الحفاظ على عدم فقدان معلومات الصور RGB. ثم نقترح شبكة ذات تدفقين لاستخراج الميزات من النوعين من البيانات بشكل منفصل، وتُدمج الميزات المستخرجة باستخدام وحدات دمج فعّالة تعتمد على التراكب التراكمي. بالإضافة إلى ذلك، نُقدّم خسائر إدراكية إضافية لقياس الفرق الإدراكي بين النوعين من البيانات. وأخيرًا، نقترح نسخة مُحسّنة من PMF تُسمى EPMF، والتي تكون أكثر كفاءة وفعالية من خلال تحسين معالجة البيانات الأولية وبنية الشبكة تحت التصوير المتناظر. وبشكل خاص، نقترح تزامنًا بين الأنواع (Cross-modal Alignment) وقطعًا مكثّفًا للإدخالات (Cropping) للحصول على مدخلات دقيقة وتقليل التكاليف الحسابية غير الضرورية. ثم نستكشف وحدات سياقية أكثر كفاءة تحت التصوير المتناظر، ونُدمج ميزات ليدار في تدفق الكاميرا لتعزيز أداء الشبكة ذات التدفقين. أظهرت التجارب الواسعة على مجموعات بيانات معيارية تفوق أسلوبنا. على سبيل المثال، على مجموعة اختبار nuScenes، تفوق EPMF الأسلوب الرائد في المجال، أي RangeFormer، بنسبة 0.9% في مقياس mIoU. يمكن الوصول إلى الشفرة المصدرية الخاصة بنا عبر الرابط: https://github.com/ICEORY/PMF.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp