رؤية الحركة في الظلام

تم تطبيق التعلم العميق مؤخرًا بنجاح كبير في مجال التصوير في الإضاءة الشديدة المنخفضة. وعلى الرغم من النجاح المُحرز في معالجة الصور الفردية، يظل معالجة الفيديو في ظروف الإضاءة الشديدة المنخفضة مشكلة معقدة جدًا نظرًا لصعوبة جمع بيانات فيديو خام مصحوبة ببيانات حقيقية (ground truth). فجمع بيانات الحقيقة الحقيقية باستخدام التعرض الطويل، كما تم في حالات معالجة الصور الفردية، غير ممكن في المشاهد الديناميكية. في هذه الورقة، نقدم معالجة عميقة لفيديوهات خام شديدة الظلام، بمستويات إضاءة تصل إلى نحو لوكس واحد. ولدعم هذا النوع من البحث، قمنا بجمع مجموعة بيانات جديدة مكوّنة من فيديوهات خام في الإضاءة المنخفضة، حيث تم التقاط بيانات خام عالية الدقة بسرعة فيديو. في هذا المستوى من الظلام، يكون نسبة الإشارة إلى الضوضاء (SNR) منخفضة جدًا (سالبة عند قياسها بوحدة ديسيبل)، وغالبًا ما تفشل النماذج التقليدية لمعالجة الصور. ولحل هذه المشكلة الصعبة، نُقدّم طريقة جديدة. من خلال تصميم دقيق لنظام معالجة قائم على التعلم، وإدخال دالة خسارة جديدة تُشجع على الاستقرار الزمني، قمنا بتدريب شبكة سياميز (Siamese Network) على فيديوهات خام ثابتة، حيث تتوفر لها بيانات حقيقية، بحيث تتمكن الشبكة من التعميم على فيديوهات مشاهد ديناميكية عند الاختبار. وأظهرت النتائج التجريبية أن النهج المُقدّم يتفوق على النماذج الرائدة في مجالات معالجة الدفعات (burst processing)، ومعالجة الإطارات الفردية (per-frame processing)، والاتساق الزمني العشوائي (blind temporal consistency).