إعادة إنتاج الصور عبر وجهات النظر باستخدام شبكات GAN المشروطة الموجهة بالهندسة

نتناول مشكلة إنشاء الصور بين وجهتي نظر متباعدتين بشكل كبير، وهما المنظور الأرضي (الشارع) والمنظور الجوي (الأعلى). تعتبر عملية إنشاء الصور بمفردها مهمة صعبة للغاية في مجال رؤية الحاسوب، وهي تصبح أكثر تحديًا عندما تكون العملية مشروطة بوجود صورة في منظور آخر. نظرًا لاختلاف الزوايا البصرية، فإن هناك تداخلًا ضئيلًا في مجال الرؤية وقليل من المحتوى المشترك بين هذين المنظورين. هنا، نحاول الحفاظ على المعلومات البكسلية بين المنظورات بحيث تكون الصورة المنشأة تمثيلًا واقعيًا للصورة المدخلة عبر المنظورات المختلفة. لهذا الغرض، نقترح استخدام التحويل الهندسي كدليل لربط الصور بين المنظورات بناءً على المجال البصري المشترك للحفاظ على التفاصيل في الصورة المدخلة. ثم نستخدم شبكات التعلم المعادية التوليدية لإكمال المناطق الناقصة في الصورة المحولة وإضافة الواقعية إليها. تظهر تقييماتنا الشاملة ومقارنة النماذج أن الاستفادة من قيود الهندسة تضيف تفاصيل دقيقة إلى الصور المنشأة ويمكن أن تكون طريقة أفضل لإنشاء الصور عبر المنظورات المختلفة من الطرق التي تعتمد فقط على المعلومات البكسلية.