معالجة الصور GNN: كسر التصلب في التكبير الفائق

يُعيد التحليل الفائق (Super-Resolution (SR)) توليد صور ذات دقة عالية من صور ذات دقة منخفضة. وتشكل الشبكات العصبية التلافيفية (CNNs) وطرق الانتباه على النافذة (window-attention) فئتين رئيسيتين من النماذج القياسية لـ SR. ومع ذلك، فإن هذه الأساليب تُظهر قساوة في الأداء، إذ يجمع كل بكسل في العمليتين نفس عدد البكسلات المجاورة، مما يحد من فعاليتها في مهام التحليل الفائق. بدلًا من ذلك، نستفيد من مرونة الرسوم البيانية (Graphs) ونُقدِّم نموذجًا جديدًا يُسمى IPG (Image Processing GNN) لتجاوز هذه القساوة التي سادت في النماذج السابقة. أولاً، يُعد التحليل الفائق غير متوازن، حيث تتركز معظم جهود إعادة البناء في نسبة صغيرة من مناطق الصورة الغنية بالتفاصيل. لذلك، نستفيد من مرونة الدرجة (degree flexibility) من خلال تعيين درجات أعلى للعقد المقابلة للبكسلات في المناطق الغنية بالتفاصيل. ثانيًا، لبناء رسوم بيانية فعّالة في التجميع لمهام التحليل الفائق، نعامل الصور كمجموعة من عقد البكسلات بدلًا من عقد القطع (patch nodes). أخيرًا، نرى أن المعلومات المحلية والعالمية على حد سواء حاسمة لأداء التحليل الفائق. وبهدف جمع معلومات البكسل من المقياس المحلي والعالمي بكفاءة من خلال رسوم بيانية مرنة، نبحث عن اتصالات العقد داخل المناطق القريبة لبناء رسوم بيانية محلية، ونُحدد اتصالات داخل فضاء عينة بخطوات (strided sampling space) للصورة الكاملة لبناء رسوم بيانية عالمية. إن مرونة الرسوم البيانية تُعزز أداء التحليل الفائق في نموذج IPG. وقد أظهرت النتائج التجريبية على عدة مجموعات بيانات أن النموذج المقترح IPG يتفوق على النماذج القياسية المتطورة (State-of-the-Art baselines). يمكن الوصول إلى الكود عبر الرابط: https://github.com/huawei-noah/Efficient-Computing/tree/master/LowLevel/IPG.