الفيديو عالي السرعة وعالي النطاق الديناميكي باستخدام كاميرا الأحداث

الكاميرات الحدثية هي أجهزة استشعار جديدة تبلغ عن التغيرات في السطوع على شكل تيار من الأحداث غير المتزامنة بدلاً من الإطارات الشدة. وتقدم هذه الكاميرات مزايا كبيرة مقارنة بالكاميرات التقليدية: دقة زمنية عالية، نطاق ديناميكي واسع، وعدم وجود تشويه حركي. رغم أن تيار الأحداث يشفر في المبدأ الإشارة البصرية الكاملة، فإن إعادة بناء صورة شدة من تيار الأحداث هو مشكلة غير محددة بشكل جيد في الممارسة العملية. تعتمد الأساليب الحالية لإعادة البناء على افتراضات مسبقة تم تصميمها يدوياً وأفكار قوية حول عملية التصوير وإحصائيات الصور الطبيعية. في هذا العمل، نقترح تعلم كيفية إعادة بناء الصور ذات الشدة من أشرطة الأحداث مباشرة من البيانات بدلاً من الاعتماد على أي افتراضات مسبقة تم تصميمها يدوياً. نقترح شبكة متكررة جديدة لإعادة بناء الفيديوهات من تيار الأحداث، ونقوم بتدريبها على كمية كبيرة من بيانات الأحداث المحاكاة. خلال التدريب، نقترح استخدام خسارة إدراكية لتشجيع إعادة البناء على اتباع إحصائيات الصور الطبيعية. نوسع أيضاً نهجنا لتكوين صور ملونة من أشرطة الأحداث الملونة. يتخطى شبكتنا طرق إعادة البناء الرائدة بفارق كبير فيما يتعلق بجودة الصورة (أكثر من 20%) بينما تعمل بكفاءة عالية في الوقت الحقيقي. نوضح أن الشبكة قادرة على تكوين مقاطع فيديو ذات معدل إطار عالي (أكثر من 5,000 إطار في الثانية) للأحداث السريعة (مثل رصاصة تصطدم بجسم) ويمكنها تقديم إعادة بناء ذات نطاق ديناميكي عالي في ظروف الإضاءة الصعبة. كما نظهر فعالية إعادة البناء الخاصة بنا كتمثيل وسيط للبيانات الحدثية. نوضح أنه يمكن تطبيق خوارزميات الرؤية الحاسوبية الجاهزة على إعادة البناء الخاصة بنا لأداء مهام مثل تصنيف الأجسام والمسافة البصرية القصور الذاتي وأن هذه الاستراتيجية تتخطى باستمرار الخوارزميات التي تم تصميمها خصيصاً للبيانات الحدثية.