الاندماج القائم على الحدث لتطهير الحركة باستخدام الانتباه عبر الوسائط

تتعرض الكاميرات التقليدية القائمة على الإطارات بشكل لا مفر منه لتشويش الحركة بسبب أزمنة التعرض الطويلة. وبما أنها نوع من الكاميرات المستوحاة من الكائنات الحية، فإن كاميرات الأحداث تسجل تغيرات الشدة بطريقة غير متزامنة بحلقة زمنية عالية، مما يوفر معلومات صحيحة عن تدهور الصورة خلال فترة التعرض. في هذا البحث، نعيد التفكير في مشكلة إزالة تشويش الحركة المستندة إلى الأحداث، ونُعدّلها لتصبح شبكة استعادة صورة ثنائية المرحلة ذات نهاية إلى نهاية. ولدمج ميزات الأحداث والصورة بشكل فعّال، نصمم وحدة انتباه متقاطعة بين الوسائط (event-image cross-modal attention) تُطبَّق على مستويات متعددة من شبكتنا، مما يسمح بالتركيز على الميزات ذات الصلة من فرع الأحداث وتصفية الضوضاء. كما نقدّم تمثيلًا جديدًا متماثلًا مُجمَّعًا للأحداث مخصصًا خصيصًا لاستعادة الصور من تشويش الحركة، بالإضافة إلى اتصال مُتحكم به بقناع الأحداث بين المرحلتين في شبكتنا، والذي يساعد في تجنب فقدان المعلومات. وعلى مستوى مجموعة البيانات، لتشجيع البحث في إزالة تشويش الحركة المستندة إلى الأحداث، ولتسهيل التقييم على صور واقعية صعبة، نقدّم مجموعة بيانات Real Event Blur (REBlur)، التي تم التقاطها باستخدام كاميرا أحداث في مختبر بصري مُحكم الإضاءة. تُعد شبكة التكامل بالأحداث (EFNet) الحالة الجديدة المتطورة في إزالة تشويش الحركة، حيث تتفوق على أفضل طريقة قائمة على الصور السابقة، وكذلك على جميع الطرق المستندة إلى الأحداث ذات التنفيذ العام على مجموعة بيانات GoPro (بفارق يصل إلى 2.47 ديسيبل) وعلى مجموعة بيانات REBlur الخاصة بنا، حتى في حالات التشويش الشديد. سيتم إتاحة الكود ومجموعة بيانات REBlur للجمهور بشكل عام.