التمييز البانورامي رباعي الأبعاد باستخدام شبكة التحول الديناميكي المعتمدة على LiDAR

مع التقدم السريع في مجال القيادة الذاتية، أصبح من الحاسم تزويد نظام الاستشعار بقدرة إدراك ثلاثي الأبعاد أكثر شمولًا. ومع ذلك، فإن الأعمال الحالية تركز على تحليل الأشياء (مثل السيارات والمشاة) أو المناظر (مثل الأشجار والمباني) من مستشعر ليدار (LiDAR). في هذا العمل، نتناول مهمة تقسيم البانورامي المستند إلى ليدار (LiDAR-based panoptic segmentation)، والتي تهدف إلى تحليل كل من الأشياء والمناظر بطريقة موحدة. كأحد أولى الجهود نحو هذه المهمة الجديدة والصعبة، نقترح شبكة التحول الديناميكي (Dynamic Shifting Network - DS-Net)، والتي تعمل كإطار فعال لتقسيم البانورامي في مجال السحابة النقطية (point cloud).وبشكل خاص، تتميز DS-Net بثلاث خصائص جذابة:1) تصميم العمود الفقري القوي. تعتمد DS-Net على الإنشاء الإسطواني للتحويل (cylinder convolution) الذي تم تصميمه خصيصًا لسحابات النقاط الخاصة بليدار.2) التحول الديناميكي لتوزيعات النقاط المعقدة. نلاحظ أن الخوارزميات التجميعية الشائعة غير قادرة على التعامل مع مشاهد القيادة الذاتية المعقدة ذات التوزيعات غير المنتظمة للسحابة النقطية وأحجام الحالات المتغيرة. لذلك، نقدم وحدة تجميع قابلة للتعلم بكفاءة، وهي التحول الديناميكي، التي تقوم بتكييف وظائف النواة بشكل ديناميكي لكل حالة مختلفة.3) التوسع إلى التنبؤ رباعي الأبعاد. بالإضافة إلى ذلك، نتوسع في DS-Net لتقسيم البانورامي ليدار رباعي الأبعاد من خلال التجميع الزمني الموحد للحالات على الإطارات المنسجمة لليدار.لتقييم أداء تقسيم البانورامي المستند إلى ليدار بشكل شامل، نقوم بإنشاء وإدارة مقاييس مرجعية من قاعدتين كبيرتين للبيانات الخاصة بالقيادة الذاتية باستخدام ليدار وهما SemanticKITTI وnuScenes. تظهر التجارب الواسعة أن شبكتنا المقترحة DS-Net تحقق دقة أعلى بكثير من أفضل الأساليب الحالية في كلتا المهمتين. وبشكل ملحوظ، في إصدار الإطار الواحد للمهمة، نتفوق على أفضل طريقة حالية بنسبة 1.8% بحسب مؤشر PQ. وفي إصدار المهمة رباعي الأبعاد، نتفوق على المركز الثاني بنسبة 5.4% بحسب مؤشر LSTQ.