Command Palette
Search for a command to run...
BSRT: تحسين التحليل الفائق للصورة المتتابعة باستخدام سوين ترانسفورمر ومحاذاة متغيرة موجهة بالتدفق
BSRT: تحسين التحليل الفائق للصورة المتتابعة باستخدام سوين ترانسفورمر ومحاذاة متغيرة موجهة بالتدفق
Ziwei Luo Youwei Li Shen Cheng Lei Yu Qi Wu Zhihong Wen Haoqiang Fan Jian Sun Shuaicheng Liu
الملخص
يتناول هذا العمل مهمة التحسين الفائق للصورة المتتابعة (Burst Super-Resolution - BurstSR) باستخدام هندسة معمارية جديدة، والتي تتطلب استعادة صورة عالية الجودة من سلسلة من الصور الأولية (RAW) ذات الضوضاء والتشويه والدقة المنخفضة. لتجاوز التحديات في مهمة BurstSR، نقترح استخدام محول التحسين الفائق للصورة المتتابعة (Burst Super-Resolution Transformer - BSRT)، والذي يمكنه تحسين قدرة استخراج المعلومات بين الإطارات وإعادة بناء الصورة بشكل كبير. لتحقيق هذا الهدف، نقترح شبكة انتقال متدرجة موجهة بالتدفق المرن (Pyramid Flow-Guided Deformable Convolution Network - Pyramid FG-DCN) وندمج كتل ومجموعات محول Swin كأساس رئيسي لهندستنا. وبشكل أكثر تحديدًا، نجمع بين التدفقات البصرية والالتواءات الملتويّة (deformable convolutions)، مما يجعل محولنا BSRT قادرًا على التعامل مع التشويه وتجميع المعلومات النسيجية المحتملة في الإطارات المتعددة بكفاءة أكبر. بالإضافة إلى ذلك، فإن هيكلنا القائم على المحولات يمكنه التقاط الارتباطات طويلة المدى لتحسين الأداء بشكل أكبر. أظهرت التقييمات على المسارات الاصطناعية والواقعية أن نهجنا يحقق حالة فنية جديدة في مهمة BurstSR. علاوة على ذلك، فاز محولنا BSRT بلقب تحدي التحسين الفائق للصورة المتتابعة في مؤتمر NTIRE 2022.