Command Palette
Search for a command to run...
اكتشاف الأشياء RGB-X عبر وحدات الاندماج الخاصة بالمشهد
اكتشاف الأشياء RGB-X عبر وحدات الاندماج الخاصة بالمشهد
Sri Aditya Deevi Connor Lee Lu Gan Sushruth Nagesh Gaurav Pandey Soon-Jo Chung
الملخص
الدمج العمقاني متعدد الوسائط للحساسات له القدرة على تمكين المركبات ذاتية القيادة من فهم بيئتها المحيطة بصرياً في جميع الظروف الجوية. ومع ذلك، فإن طرق الدمج العمقاني الحالية للحساسات تستخدم عادة هياكل معقدة تتداخل فيها ميزات الوسائط المتعددة، مما يتطلب مجموعات بيانات كبيرة ومتوافقة بين الوسائط المتعددة للتدريب. في هذا البحث، نقدم شبكة دمج فعالة وقابلة للتحصيل بين الوسائط (RGB-X) يمكنها الاستفادة من نماذج التعلم السابقة ذات الوسيط الواحد عبر وحدات دمج خاصة بالمشهد، مما يمكّن من إنشاء هياكل شبكات مشتركة قابلة للتكيف مع الإدخال باستخدام مجموعات بيانات صغيرة ومتوافقة بين الوسائط المتعددة. تظهر تجاربنا تفوق طريقتنا مقارنة بالأعمال الحالية على مجموعات بيانات (RGB-حرارية) و(RGB-مغلقة) (gated)، حيث يتم تنفيذ الدمج باستخدام كمية صغيرة فقط من المعلمات الإضافية. رمز البرمجة الخاص بنا متاح على الرابط: https://github.com/dsriaditya999/RGBXFusion.