شبكة الانتشار الحجمي: دمج الاستريو-ليدار لتقدير العمق على المدى الطويل

الدمج بين الكاميرات الاستريو وليدار (Stereo-LiDAR Fusion) هو مهمة واعدة، حيث يمكننا استخدام نوعين مختلفين من الإدراك ثلاثي الأبعاد للتطبيقات العملية -- المعلومات ثلاثية الأبعاد الكثيفة (الكاميرات الاستريو) والغمام ثلاثية الأبعاد النادرة ذات الدقة العالية (ليدار). ومع ذلك، بسبب اختلاف أنماطهما وهياكلهما، فإن طريقة مواءمة بيانات الحساسات هي المفتاح لنجاح دمج الحساسات. لتحقيق هذا الهدف، نقترح شبكة دمج استريو-ليدار معتمدة على الهندسة لمعرفة التقدير العميق على المدى الطويل، والتي تُسمى شبكة الانتشار الحجمي (Volumetric Propagation Network). الفكرة الرئيسية لشبكتنا هي استغلال الغمام النقطية النادرة والدقيقة كإشارة لتهذيب التقابلات في الصور الاستريو في فضاء حجمي موحد ثلاثي الأبعاد. بخلاف استراتيجيات الدمج الموجودة، نقوم بتضمين الغمام النقطية مباشرةً في الحجم، مما يمكّننا من نشر المعلومات الصحيحة إلى الفوكسل المجاورة في الحجم وتقليل عدم اليقين في التقابلات. وبذلك，则可以使我们无缝融合两种不同的输入模式并回归一个长距离深度图。我们的融合还通过一种新提出的由图像引导的点云特征提取层得到了进一步增强：FusionConv。FusionConv 提取了同时考虑语义（2D 图像域）和几何（3D 域）关系的点云特征，有助于在体积中进行融合。我们的网络在最近的 Stereo-LiDAR 融合方法中，在 KITTI 和 Virtual-KITTI 数据集上实现了最先进的性能。为了使这段翻译更加流畅和正式，我将对其中的部分句子进行调整：فبذلك，则可以使我们无缝融合两种不同的输入模式并回归一个长距离深度图。فبذلك يمكننا دمج النمطين المختلفين للإدخال بسلاسة وإرجاع خريطة عمق على مدى طويل.我们的融合还通过一种新提出的由图像引导的点云特征提取层得到了进一步增强：FusionConv。دمجنا يتم تعزيزه أيضًا من خلال طبقة استخراج الخصائص الجديدة للغمام النقطية التي تُوجه بالصور: FusionConv.FusionConv 提取了同时考虑语义（2D 图像域）和几何（3D 域）关系的点云特征，有助于在体积中进行融合。FusionConv يستخرج خصائص الغمام النقطية التي تأخذ بعين الاعتبار العلاقات الدلالية (في المجال الثنائي الأبعاد للصورة) والعلاقات الهندسية (في المجال الثلاثي الأبعاد)، مما يساعد على الدمج داخل الحجم.我们的网络在最近的 Stereo-LiDAR 融合方法中，在 KITTI 和 Virtual-KITTI 数据集上实现了最先进的性能。شبكتنا حققت أداءً رائدًا بين الأساليب الحديثة لدمج الكاميرات الاستريو وليدار في مجموعتي البيانات KITTI وVirtual-KITTI.