MADrive: نمذجة مشهد القيادة المُعزز بالذاكرة

التطورات الحديثة في إعادة بناء المشاهد قد أدت إلى نمذجة بيئات القيادة الذاتية (AD) بطريقة واقعية للغاية باستخدام تقنية التسطيح الغاوسي ثلاثي الأبعاد (3D Gaussian splatting). ومع ذلك، فإن النماذج الناتجة تظل مرتبطة بشكل وثيق بالملاحظات الأصلية وتواجه صعوبة في دعم التركيب الفوتوغرافي لسيناريوهات قيادة مُعدَّلة بشكل كبير أو جديدة. يقدم هذا العمل نظام MADrive، وهو إطار لإعادة بناء المشاهد معزز بالذاكرة مصمم لتوسيع قدرات طرق إعادة بناء المشاهد الحالية من خلال استبدال المركبات المُرصودة بعناصر ثلاثية الأبعاد مشابهة بصرياً تم استرجاعها من بنك ذاكرة خارجي على نطاق واسع.بشكل خاص، نطلق MAD-Cars، وهي مجموعة بيانات مختارة تحتوي على حوالي 70 ألف فيديو سيارة بزاوية 360 درجة تم التقاطها في البيئة الحقيقية، ونقدم وحدة استرجاع تجد أقرب الحالات المتشابهة للسيارات في بنك الذاكرة، تقوم بإعادة بناء العناصر الثلاثية الأبعاد المقابلة من الفيديو، ثم تدمجها في المشهد المستهدف عبر تنظيم التوجيه وإعادة الإضاءة. توفر الاستبدالات الناتجة تمثيلات متعددة الزوايا الكاملة للمركبات في المشهد، مما يمكّن من تركيب سيناريوهات مُعدَّلة بشكل كبير بطريقة فوتوغرافية كما أظهرت تجاربنا. صفحة المشروع: https://yandex-research.github.io/madrive/