UniOcc: توحيد التنبؤ بالاحتلال ثلاثي الأبعاد المتمحور حول الرؤية مع التصوير الهندسي والدلالات

في هذا التقرير الفني، نقدم حلنا المسمى UniOCC لمسار التنبؤ بالاحتلال ثلاثي الأبعاد المركز على الرؤية في تحدي مجموعة بيانات nuScenes المفتوحة في مؤتمر CVPR 2023. تركز الطرق الحالية للتنبؤ بالاحتلال بشكل أساسي على تحسين الخصائص المشروعة في الفضاء الثلاثي الأبعاد باستخدام علامات الاحتلال ثلاثية الأبعاد. ومع ذلك، فإن عملية إنشاء هذه العلامات معقدة وغالية الثمن (تعتمد على التسميات الدلالية ثلاثية الأبعاد)، كما أنها محدودة بدقة البكسل ولا يمكنها توفير دلالات فضائية دقيقة. لمعالجة هذا القيد، نقترح طريقة جديدة للتنبؤ بالاحتلال تُعرف بـ Unifying Occupancy (UniOcc)، حيث يتم فرض قيود هندسية فضائية بشكل صريح وإكمال الإشراف الدلالي الدقيق من خلال تصوير أشعة الحجم. يعزز هذا الأسلوب بشكل كبير أداء النموذج ويظهر إمكانات واعدة في تقليل تكلفة التسميات البشرية. نظرًا لطبيعة العمل الشاقة لتسمية الاحتلال الثلاثي الأبعاد، فقد قدمنا أيضًا إطار عمل Teacher Student معتمد على العمق (DTS) لتحسين دقة التنبؤ باستخدام البيانات غير المصنفة. حققت حلتنا نسبة mIoU رسمية قدرها 51.27٪ مع نموذج واحد، مما وضعنا في المركز الثالث في هذا التحدي.