التعلم المشترك للملامح والحركة لتصحيح فعّال للشريط الدوار

تصبح تصحيح الشاشة الدوارة (RSC) شائعة بشكل متزايد في كاميرات الشاشة الدوارة (RS) التي تُستخدم على نطاق واسع في التطبيقات التجارية والصناعية. وعلى الرغم من الأداء الواعد، فإن الطرق الحالية لتصحيح الشاشة الدوارة تعتمد عادةً على بنية شبكة ثنائية المرحلة، والتي تتجاهل التفاعلات المتأصلة في المعلومات، مما يعيق الاستنتاج السريع. في هذا البحث، نقترح شبكة من مرحلة واحدة تعتمد على هيكل مشفر-فكك، تُسمى JAMNet، لتصحيح الشاشة الدوارة بكفاءة. تبدأ الشبكة باستخراج ميزات هرمية من الإدخالات المتتالية للكاميرات الدوارة، ثم تقوم بتحسين المعلومات المكملة بشكل متزامن (أي مظهر الشاشة الكامل، وحقل الحركة غير المشوهة) لتحقيق تعزيز متبادل من خلال معالج مشترك في مرحلة التفكيك. ولإدخال إشارات حركة كافية لتوجيه التعلم المشترك، نُقدّم وحدة تضمين حركة تعتمد على المحول (Transformer-based motion embedding module)، ونُقترح نقل الحالات الخفية بين مستويات الهرم. علاوة على ذلك، نُقدّم استراتيجية جديدة لتكبير البيانات تُسمى "الانعكاس الرأسي + الترتيب العكسي" لاستغلال الإمكانات الكاملة لمجموعات بيانات RSC. أظهرت التجارب على مجموعة متنوعة من المعايير أن منهجنا يتفوق على الطرق الحالية بفارق كبير، خاصةً مع تحسن قدره 4.7 ديسيبل في معيار PSNR على بيانات حقيقية لتصحيح الشاشة الدوارة. يمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/GitCVfb/JAMNet.