TALoS: تحسين إكمال المشهد الدلالي من خلال التكيف في وقت الاختبار على خط النظر

الاستكمال المشهدي الدلالي (SSC) يهدف إلى إجراء الاستكمال الهندسي والتقسيم الدلالي في آن واحد. رغم النتائج الواعدة التي حققتها الدراسات الحالية، فإن الطبيعة المتأصلة للمسالة غير المحددة بشكل جيد تشكل تحديات كبيرة في سيناريوهات القيادة المختلفة. يقدم هذا البحث تالوس (TALoS)، وهو نهج جديد لتكيف الاختبار في SSC يستكشف المعلومات المتاحة في بيئات القيادة. بصفة خاصة، نركز على أن الملاحظات التي يتم جمعها في لحظة معينة يمكن أن تعمل كحقائق أرضية (GT) للاستكمال المشهدي في لحظة أخرى. بالنظر إلى خصائص مستشعر الليدار (LiDAR)، فإن ملاحظة كائن في موقع معين تؤكد كل من: 1) احتلال ذلك الموقع، و2) عدم وجود عقبات على خط الرؤية من الليدار إلى تلك النقطة. يستخدم تالوس هذه الملاحظات للحصول على إشراف ذاتي حول الاحتلال والفراغ، مما يوجه النموذج ليتكيف مع المشهد أثناء الاختبار. وبطريقة مشابهة، نجمع التنبؤات الدقيقة لـ SSC بين عدة لحظات ونستفيد منها كحقائق أرضية دلالية مزيفة للتكيف. بالإضافة إلى ذلك، للاستفادة من الملاحظات المستقبلية التي لا تكون متاحة في الوقت الحالي، نقدم نظامًا مزدوجًا للمعايرة باستخدام النموذج الذي يتم فيه تأخير التحديث حتى توفر الملاحظة المستقبلية. تظهر التقييمات على مجموعتي التحقق والاختبار من SemanticKITTI أن تالوس (TALoS) يحسن بشكل كبير أداء النموذج المُدرب مسبقًا لـ SSC. رمزنا البرمجي متاح على الرابط https://github.com/blue-531/TALoS.