اكتشاف الأشياء RGB-X عبر وحدات الاندماج الخاصة بالمشهد

الدمج العمقاني متعدد الوسائط للحساسات له القدرة على تمكين المركبات ذاتية القيادة من فهم بيئتها المحيطة بصرياً في جميع الظروف الجوية. ومع ذلك، فإن طرق الدمج العمقاني الحالية للحساسات تستخدم عادة هياكل معقدة تتداخل فيها ميزات الوسائط المتعددة، مما يتطلب مجموعات بيانات كبيرة ومتوافقة بين الوسائط المتعددة للتدريب. في هذا البحث، نقدم شبكة دمج فعالة وقابلة للتحصيل بين الوسائط (RGB-X) يمكنها الاستفادة من نماذج التعلم السابقة ذات الوسيط الواحد عبر وحدات دمج خاصة بالمشهد، مما يمكّن من إنشاء هياكل شبكات مشتركة قابلة للتكيف مع الإدخال باستخدام مجموعات بيانات صغيرة ومتوافقة بين الوسائط المتعددة. تظهر تجاربنا تفوق طريقتنا مقارنة بالأعمال الحالية على مجموعات بيانات (RGB-حرارية) و(RGB-مغلقة) (gated)، حيث يتم تنفيذ الدمج باستخدام كمية صغيرة فقط من المعلمات الإضافية. رمز البرمجة الخاص بنا متاح على الرابط: https://github.com/dsriaditya999/RGBXFusion.