الملخص

أظهرت التطورات الحديثة في نماذج العالم الافتراضي للقيادة القدرة على إنتاج مقاطع فيديو عالية الجودة بتنسيق RGB أو مقاطع فيديو متعددة الوسائط بتحكم دقيق. وتركز الطرق الحالية بشكل رئيسي على مقاييس تتعلق بجودة الإنتاج والقدرة على التحكم، لكنها غالبًا ما تتجاهل تقييم المهام الاحتفاظية اللاحقة (downstream perception tasks)، التي تُعدّ حاسمة جدًا لأداء أنظمة القيادة الذاتية. وتعتمد الطرق الحالية عادةً على استراتيجية تدريب تبدأ بتدريب مسبق على بيانات افتراضية، ثم تدريب دقيق (fine-tuning) على بيانات حقيقية، ما يؤدي إلى تضاعف عدد الدورات (epochs) مقارنةً بالأساس (الذي يعتمد فقط على البيانات الحقيقية). وعند تضاعف عدد الدورات في النموذج الأساسي، تصبح فوائد البيانات الافتراضية محدودة جدًا. ولإثبات فائدة البيانات الافتراضية بشكل شمولي، نقدم "Dream4Drive"، وهي إطار جديد لإنشاء بيانات افتراضية مصمم لتعزيز المهام الاحتفاظية اللاحقة. يبدأ "Dream4Drive" بتحليل الفيديو المدخل إلى عدة خرائط توجيهية واعية بـ 3D، ثم يُرسَم المحتوى ثلاثي الأبعاد (3D assets) على هذه الخرائط التوجيهية. في النهاية، يتم تدريب نموذج العالم الافتراضي للقيادة بشكل دقيق لإنتاج مقاطع فيديو متعددة الزوايا وواقعية بصريًا، التي يمكن استخدامها لتدريب النماذج الاحتفاظية اللاحقة. يتيح "Dream4Drive" مرونة غير مسبوقة في إنشاء حالات حادة (corner cases) متعددة الزوايا بمقاييس كبيرة، مما يُسهم بشكل كبير في تحسين القدرة على اكتشاف هذه الحالات في أنظمة القيادة الذاتية. ولتمكين الأبحاث المستقبلية، نُسهم أيضًا بقاعدة بيانات ضخمة من المحتوى ثلاثي الأبعاد تُسمى "DriveObj3D"، تغطي الفئات الشائعة في سيناريوهات القيادة، وتمكّن من تحرير مقاطع فيديو واعية بـ 3D بتنوع كبير. أجرينا تجارب شاملة تُظهر أن "Dream4Drive" يمكنه تعزيز أداء النماذج الاحتفاظية اللاحقة بشكل فعّال في ظل مختلف عدد الدورات التدريبية.المشروع: هناك الرابط