التماهي العالي الدقة للصور عبر التحويلات الثنائية التعاونية

بالنظر إلى صورة مركبة، يهدف التماسك الصوري إلى تعديل الجزء الأمامي لجعله متوافقًا مع الخلفية. يُعد التماسك الصوري عالي الدقة مطلوبًا بشدة، لكنه ما زال غير مستكشف بالكامل. تعتمد الطرق التقليدية للتماسك الصوري على تعلم تحويل RGB إلى RGB على المستوى العالمي، والتي يمكنها التوسع بسهولة إلى دقة عالية، لكنها تتجاهل السياقات المحلية المتنوعة. أما الطرق الحديثة القائمة على التعلم العميق، فتتعلم تحويلًا كثيفًا من بكسل إلى بكسل، مما يمكنها من إنتاج نتائج متماسكة، لكنها محدودة جدًا في الدقة المنخفضة. في هذا العمل، نقترح شبكة تماسك صوري عالي الدقة تعتمد على التحويل المزدوج التعاوني (CDTNet)، والتي تدمج بشكل متناسق التحويل من بكسل إلى بكسل والتحويل من RGB إلى RGB ضمن شبكة واحدة من النهاية إلى النهاية. تتألف CDTNet من مولّد بدقة منخفضة لتنفيذ التحويل من بكسل إلى بكسل، ووحدة خريطة الألوان لتنفيذ التحويل من RGB إلى RGB، بالإضافة إلى وحدة تحسين تستفيد من كليهما. أظهرت التجارب الواسعة على مجموعة بيانات معيارية عالية الدقة وعلى صور مركبة حقيقية عالية الدقة أنشأناها حديثًا أن CDTNet تحقق توازنًا جيدًا بين الكفاءة والفعالية. يمكن العثور على البيانات المستخدمة في هذا العمل عبر الرابط: https://github.com/bcmi/CDTNet-High-Resolution-Image-Harmonization.