CM-GAN: إصلاح الصور باستخدام GAN متسلسل التحكم وتدريب يراعي الكائنات

أحرزت الطرق الحديثة لإكمال الصور تقدماً كبيراً، لكنها غالبًا ما تواجه صعوبة في إنشاء هيكل صور معقول عند التعامل مع ثقوب كبيرة في الصور المعقدة. ويعود هذا جزئياً إلى نقص في هيكل الشبكة الفعّالة التي يمكنها التقاط الترابط الطويل المدى والمعاني عالية المستوى للصورة. نقترح شبكة جديدة تُسمى CM-GAN (الشبكة التسلسلية للتعديل GAN)، والتي تتكون من مُشفّر يحتوي على كتل تباين فورييه لاستخراج تمثيلات مميزة متعددة المقاييس من الصورة المدخلة التي تحتوي على ثقوب، ومحوّل مزدوج التدفق يحتوي على كتلة تسلسلية جديدة للتعديل العالمي-المكاني في كل مستوى من المستويات. وفي كل كتلة من كتل المحول، يتم أولاً تطبيق التعديل العالمي لتنفيذ تركيب هيكل خشن وواعٍ للسياق، يليه التعديل المكاني لضبط خريطة الميزات بشكل تكيفي مكانيًا. بالإضافة إلى ذلك، قمنا بتصميم خطة تدريب واعية بالكائنات لمنع الشبكة من تخيّل كائنات جديدة داخل الثقوب، مما يلبي احتياجات مهام إزالة الكائنات في السياقات الواقعية. أجرينا تجارب واسعة النطاق لتظهر أن طريقة العمل لدينا تتفوق بشكل كبير على الطرق الحالية من حيث التقييم الكمي والكيفي. يُرجى الاطلاع على صفحة المشروع: \url{https://github.com/htzheng/CM-GAN-Inpainting}.