الانثناءات المُعدّلة والشبكة المرنة لدمج الإطارات الحدثية القائمة على LSTM للإزالة المرئية للضوء المُضطرب

تختلف كاميرات الأحداث عن الكاميرات RGB التقليدية من حيث إنتاجها لسلاسل بيانات غير متزامنة. بينما تقوم الكاميرات RGB بالتقاط كل إطار بمعدل ثابت، فإن كاميرات الأحداث تُسجل فقط التغيرات في المشهد، مما يؤدي إلى إخراج بيانات نادرة وغير متزامنة. وعلى الرغم من أن بيانات الأحداث تحتوي على معلومات مفيدة يمكن استغلالها في تقليل الضبابية الحركية للصور الملتقطة بكاميرات RGB، إلا أن دمج معلومات الأحداث مع الصور يظل تحديًا كبيرًا. وقد أنتجت الحلول الحديثة المبنية على الشبكات العصبية التلافيفية (CNN) أطرًا ثنائية الأبعاد متعددة للأحداث، استنادًا إلى تراكم بيانات الأحداث خلال فترة زمنية. ومع ذلك، في معظم هذه التقنيات، يكون عدد أطر الأحداث ثابتًا ومحددًا مسبقًا، ما يؤدي إلى تقليل كبير في الدقة الزمنية، خصوصًا في الحالات التي تتضمن كائنات تتحرك بسرعة أو عند الحاجة إلى فترات تعريض أطول. من المهم أيضًا ملاحظة أن الكاميرات الحديثة (مثل كاميرات الهواتف الذكية) تضبط فترة التعريض للصورة ديناميكيًا، وهو ما يشكل مشكلة إضافية للشبكات التي تم تطويرها لعدد ثابت من أطر الأحداث. ولحل هذه التحديات، تم تطوير وحدة استخراج ميزات الأحداث المستندة إلى خوارزمية الذاكرة طويلة القصيرة (LSTM)، والتي تتيح استخدام عدد متغير ديناميكيًا من أطر الأحداث. وباستخدام هذه الوحدات، تم بناء شبكة حديثة للإزالة من الضبابية تُسمى "شبكة دمج أطر الأحداث المرنة القائمة على التحويلات القابلة للتشويه وLSTM" (DLEFNet). وتُعد هذه الشبكة خاصة مفيدة في السيناريوهات التي تختلف فيها فترات التعريض حسب عوامل مثل ظروف الإضاءة أو وجود كائنات سريعة الحركة في المشهد. وقد أثبتت نتائج التقييم أن الطريقة المقترحة تتفوق على الشبكات الحالية الأفضل في مجال إزالة الضبابية، سواء على مجموعات بيانات اصطناعية أو واقعية.