تقليل الفجوة بين المحاكاة والواقع للكاميرات الحدثية

الكاميرات الحدثية هي أجهزة استشعار جديدة ومبتكرة تُسجل تغييرات السطوع لكل بكسل بشكل غير متزامن تُسمى "الأحداث" بتأخير منخفض لا مثيل له. هذا يجعلها مثالية للمشاهد ذات السرعات العالية والنطاق الديناميكي العالي، حيث قد تفشل الكاميرات التقليدية. لقد أظهرت الدراسات الحديثة نتائج مثيرة للإعجاب باستخدام الشبكات العصبية التلافيفية (CNNs) لإعادة بناء الفيديو وتدفق الضوء مع الأحداث. نقدم استراتيجيات لتحسين بيانات التدريب المستخدمة في الشبكات العصبية التلافيفية القائمة على الأحداث، مما يؤدي إلى زيادة أداء شبكات إعادة بناء الفيديو المتميزة حاليًا بنسبة 20-40٪ عند إعادة تدريبها باستخدام طريقتنا، وبنسبة تصل إلى 15٪ لشبكات تدفق الضوء. أحد التحديات في تقييم إعادة بناء الفيديو القائم على الأحداث هو نقص الصور المرجعية عالية الجودة في المجموعات البيانات الموجودة حاليًا. لحل هذه المشكلة، نقدم مجموعة بيانات جديدة تحت اسم "الإطارات عالية الجودة" (HQF)، تحتوي على أحداث وإطارات مرجعية من كاميرا DAVIS240C التي تم تعريضها بشكل جيد وأقل ضبابية حركية. قمنا بتقييم طريقتنا على مجموعة بيانات HQF بالإضافة إلى عدة مجموعات بيانات رئيسية أخرى للكاميرات الحدثية.