عكس الأضرار: نهج متحول-انتشار يعتمد على QP لاستعادة الفيديو بدقة 8K تحت ضغط الكودك

في هذا البحث، نقدم DiQP؛ وهو نموذج مبتكر يجمع بين تقنيتي Transformer و Diffusion لاستعادة جودة الفيديو بدقة 8K التي تأثرت بالضغط الترميزي. حسب علمنا، يعتبر نموذجنا الأول الذي يعالج تشوهات الضغط الناتجة عن مختلف الكودكس (AV1، HEVC) باستخدام عملية Denoising Diffusion دون الحاجة إلى اعتبار الضوضاء الإضافية. هذا الأسلوب يسمح لنا بنمذجة الطبيعة المعقدة وغير الجاوسية لتشوهات الضغط، مما يمكنه من تعلم كيفية عكس التدهور. يتكون تصميمنا من قوة Transformers في التقاط الارتباطات طويلة المدى مع آلية نوافذ محسنة تحافظ على السياق الزماني والمكاني داخل مجموعات البكسل عبر الإطارات. لتعزيز الاستعادة بشكل أكبر، يتم دمج النموذج بمودولات مساعدة "النظرة إلى الأمام" و"النظرة حول" (Look Ahead و Look Around)، مما يقدم معلومات عن الإطارات المستقبلية والمحاذية لمساعدتنا في إعادة بناء التفاصيل الدقيقة وتحسين الجودة البصرية العامة. أظهرت التجارب الواسعة على مجموعة متنوعة من البيانات أن نموذجنا يتفوق على الأساليب الرائدة في المجال، خاصة بالنسبة للفيديوهات عالية الدقة مثل 4K و8K، مما يبرهن على فعاليته في استعادة مقاطع الفيديو ذات الجودة المرئية المرضية من المصادر المضغوطة بشدة.