LabelDistill: التعلم الموجه بالتصنيف لنقل المعرفة بين الأنظمة الحسية المختلفة في اكتشاف الأجسام ثلاثية الأبعاد باستخدام الكاميرات

التطورات الحديثة في اكتشاف الأشياء ثلاثية الأبعاد باستخدام الكاميرات قد أدخلت تقنية التبخير المعرفي العابر للنماذج (cross-modal knowledge distillation) بهدف تقليل الفجوة في الأداء بين مكتشفات الأشياء ثلاثية الأبعاد التي تعتمد على الليدار (LiDAR) ومكتشفات الصور. يتم استغلال المعلومات الهندسية الدقيقة الموجودة في سحابات نقاط الليدار (LiDAR point clouds) لتحقيق هذا الهدف. ومع ذلك، فإن طرق التبخير المعرفي العابر للنماذج الحالية تميل إلى إغفال العيوب الذاتية لليدار، مثل الغموض في قياس الأجسام البعيدة أو المخفية، والتي يجب عدم نقلها إلى مكتشف الصور. لمعالجة هذه العيوب في معلم الليدار (LiDAR teacher)، نقترح طريقة جديدة تستفيد من الخصائص الخالية من عدم اليقين الآلي (aleatoric uncertainty-free features) المستمدة من علامات الحقيقة الأرضية (ground truth labels). بخلاف الأساليب التقليدية للتوجيه بالعلامات، نقوم بتقريب دالة المعكوس للرأس (head) الخاص بالمعلم لدمج مدخلات العلامات بشكل فعال في الفضاء المميز (feature space). يوفر هذا النهج إرشادات دقيقة إضافية إلى جانب معلم الليدار، مما يعزز أداء مكتشف الصور. بالإضافة إلى ذلك، نقدم تقسيم الخصائص (feature partitioning)، الذي يقوم بنقل المعرفة من النموذج التعليمي مع الحفاظ على الخصائص المميزة للنموذج الطالب، وبالتالي تحقيق أقصى استفادة من كلا النموذجين. تظهر النتائج التجريبية أن نهجنا يحسن مؤشر mAP وNDS بمقدار 5.1 نقطة و4.9 نقطة على التوالي مقارنة بالنموذج المرجعي، مما يثبت فعالية نهجنا. يمكن الوصول إلى الرمز البرمجي عبر الرابط:https://github.com/sanmin0312/LabelDistill