تجاوز مجال الرؤية: تعزيز وضوح المشهد وإدراكه باستخدام المحول التكراري المقطعي

يُستخدم أجهزة استشعار الرؤية على نطاق واسع في المركبات والروبوتات والبنية التحتية على جانبي الطرق. ومع ذلك، بسبب قيود تكلفة الأجهزة وحجم النظام، غالبًا ما تكون زاوية رؤية الكاميرا (Field-of-View - FoV) محدودة وقد لا توفر تغطية كافية. ومع ذلك، من وجهة نظر زمانية ومكانيّة، يمكن الحصول على معلومات تتجاوز زاوية الرؤية الفعلية للكاميرا من خلال مقاطع الفيديو السابقة. في هذا البحث، نقترح مفهوم الترميم الفيديوي المباشر للمركبات ذاتية القيادة لتوسيع مجال الرؤية، مما يعزز رؤية المشهد وإدراكه وأمان النظام. لتحقيق هذا الهدف، نقدم هندسة FlowLens التي تستعمل بشكل صريح التدفق البصري وتدمج بشكل ضمني محولًا متكررًا جديدًا (clip-recurrent transformer) لنشر الخصائص.تقدم FlowLens ميزتين أساسيتين:1) تتضمن FlowLens مركزًا متكررًا جديدًا للمقاطع مع انتباه عابر ثلاثي الأبعاد منفصل (3D-Decoupled Cross Attention - DDCA) لمعالجة المعلومات العالمية المتراكمة عبر الزمن بشكل تدريجي.2) تقوم بدمج شبكة متعددة الفروع لمزيج الاندماج التغذوي الأمامي (Mix Fusion Feed Forward Network - MixF3N) لتعزيز التدفق المكاني الدقيق للمميزات المحلية.لتسهيل التدريب والتقييم، نستخرج مجموعة بيانات KITTI360 مع أقنعة زاوية رؤية مختلفة، والتي تغطي سيناريوهات توسيع زاوية الرؤية الخارجية والداخلية. كما نقوم بإجراء تقييمات كمية ومقارنات نوعية لمعنى ما بعد زاوية الرؤية وكشف الأشياء خارج مجال الرؤية عبر نماذج مختلفة. نوضح أن استخدام FlowLens لإعادة بناء المشاهد غير المرئية يعزز الإدراك داخل مجال الرؤية أيضًا بتقديم سياق دلالي موثوق. تظهر التجارب الواسعة والدراسات المستخدمين التي تتضمن الترميم الفيديوي غير المباشر والمباشر وكذلك مهام الإدراك خارج مجال الرؤية أن FlowLens تحقق أداءً يتفوق على أفضل ما هو موجود حاليًا. تم جعل الشيفرة المصدر وقاعدة البيانات متاحين للجمهور على الرابط https://github.com/MasterHow/FlowLens.