BSRT: تحسين التحليل الفائق للصورة المتتابعة باستخدام سوين ترانسفورمر ومحاذاة متغيرة موجهة بالتدفق

يتناول هذا العمل مهمة التحسين الفائق للصورة المتتابعة (Burst Super-Resolution - BurstSR) باستخدام هندسة معمارية جديدة، والتي تتطلب استعادة صورة عالية الجودة من سلسلة من الصور الأولية (RAW) ذات الضوضاء والتشويه والدقة المنخفضة. لتجاوز التحديات في مهمة BurstSR، نقترح استخدام محول التحسين الفائق للصورة المتتابعة (Burst Super-Resolution Transformer - BSRT)، والذي يمكنه تحسين قدرة استخراج المعلومات بين الإطارات وإعادة بناء الصورة بشكل كبير. لتحقيق هذا الهدف، نقترح شبكة انتقال متدرجة موجهة بالتدفق المرن (Pyramid Flow-Guided Deformable Convolution Network - Pyramid FG-DCN) وندمج كتل ومجموعات محول Swin كأساس رئيسي لهندستنا. وبشكل أكثر تحديدًا، نجمع بين التدفقات البصرية والالتواءات الملتويّة (deformable convolutions)، مما يجعل محولنا BSRT قادرًا على التعامل مع التشويه وتجميع المعلومات النسيجية المحتملة في الإطارات المتعددة بكفاءة أكبر. بالإضافة إلى ذلك، فإن هيكلنا القائم على المحولات يمكنه التقاط الارتباطات طويلة المدى لتحسين الأداء بشكل أكبر. أظهرت التقييمات على المسارات الاصطناعية والواقعية أن نهجنا يحقق حالة فنية جديدة في مهمة BurstSR. علاوة على ذلك، فاز محولنا BSRT بلقب تحدي التحسين الفائق للصورة المتتابعة في مؤتمر NTIRE 2022.