تعلم التحويل المتكيف لتصحيح عدسة التمرير الواقعية في العالم الحقيقي

يُقدّم هذا البحث أول مجموعة بيانات لتصحيح تأثير الكاميرا ذات المُمَرّر الدوار (Rolling Shutter) في البيئات الواقعية، تُسمّى BS-RSC، إلى جانب نموذج مُقابل لتصحيح الإطارات المتأثرة بتأثير المُمَرّر الدوار في مقاطع الفيديو المشوّهة. غالبًا ما تُنتج الأجهزة المحمولة في السوق الاستهلاكية التي تستخدم أجهزة استشعار مبنية على تقنية CMOS أثناء تسجيل الفيديو تأثيرات المُمَرّر الدوار عند حدوث حركات نسبية أثناء عملية التسجيل، مما يستدعي تطوير تقنيات لإزالة هذا التأثير. ومع ذلك، فإن الطرق الحديثة المتطورة لتصحيح تأثير المُمَرّر الدوار غالبًا ما تفشل في إزالة هذا التأثير في السياقات الواقعية، نظرًا لتعدد أنواع الحركات وصعوبة نمذجتها. لمعالجة هذه المشكلة، نقترح مجموعة بيانات واقعية لتصحيح تأثير المُمَرّر الدوار تُسمّى BS-RSC. تم تسجيل مقاطع فيديو واقعية مشوّهة مع بيانات الحقيقة الأساسية (Ground Truth) في آنٍ واحد، باستخدام نظام اكتساب مصمم بعناية يعتمد على تقنية فاصل الشعاع (Beam-splitter). تحتوي مجموعة بيانات BS-RSC على تنوّع كبير في أنماط الحركة، سواءً للكاميرا أو للأجسام في المشاهد الديناميكية. بالإضافة إلى ذلك، نُقدّم نموذجًا لتصحيح تأثير المُمَرّر الدوار يعتمد على تشويه تكيفي (Adaptive Warping). يمكن لهذا النموذج تشويه السمات المُتعلّمة من تأثير المُمَرّر الدوار إلى نسخ مُعادلة للكاميرا ذات المُمَرّر الثابت (Global Shutter) بشكل تكيفي، باستخدام حقول تشويه متعددة مُتنبّئة. ثم تُجمَع هذه السمات المُشَوّهة، وتُعاد بناؤها إلى إطارات عالية الجودة ذات مُمَرّر ثابت، باستخدام استراتيجية من التفصيل الخشن إلى الدقيق (Coarse-to-Fine). أظهرت النتائج التجريبية فعالية الطريقة المقترحة، كما أن مجموعة البيانات المقدمة يمكنها تحسين قدرة النماذج على إزالة تأثيرات المُمَرّر الدوار في البيئات الواقعية.