CSDN: شبكة تنقل الشكل ثنائي التحسين عبر الوسائط لاستكمال سحابات النقاط

كيف يمكنك إصلاح جسم مادي يعاني من نقص في أجزاء منه؟ قد تتخيل شكله الأصلي من صور تم التقاطها سابقًا، وتستعيد أولًا شكله العام (الكلي) ولكن بشكل خشن، ثم تُفصّل التفاصيل المحلية لاحقًا. نحن محفوزون بمحاكاة إجراءات الإصلاح الفيزيائي لمعالجة مسألة استكمال السحابة النقطية (point cloud completion). ولتحقيق ذلك، نقترح شبكة تنقل الشكل عبر الوسائط ذات التحسين المزدوج (تسمى CSDN)، وهي منهجية من التفصيل التدريجي (coarse-to-fine) تشارك فيها الصور بشكل دوري كامل خلال العملية. تتكوّن CSDN بشكل رئيسي من وحدتين: "دمج الشكل" و"التحسين المزدوج"، اللتين تهدفان إلى التغلب على التحديات عبر الوسائط (cross-modal). تُحَوِّل الوحدة الأولى الخصائص الشكلية الجوهرية من صورة واحدة لتوجيه توليد الهندسة في المناطق الناقصة للسحابة النقطية، حيث نقترح تقنية IPAdaIN لدمج الميزات العالمية للصورة والسحابة النقطية الجزئية في عملية الاستكمال. أما الوحدة الثانية، فهي تقوم بتحسين الناتج الخشن من خلال تعديل مواقع النقاط المولدة، حيث تُستخدَم وحدة التحسين المحلي لاستغلال العلاقة الهندسية بين النقاط الجديدة والنقاط المدخلة عبر الت convolution الرسومي (graph convolution)، بينما تُستخدم وحدة القيود العالمية لضبط الانزياحات المولدة باستخدام الصورة المدخلة. على عكس معظم الطرق الحالية، لا تكتفي CSDN باستكشاف المعلومات التكميلية من الصور فحسب، بل تستفيد أيضًا بفعالية من البيانات عبر الوسائط طوال العملية التدريجية من الخشنة إلى الدقيقة. تُظهر النتائج التجريبية أن CSDN تتفوّق على عشرة منافسين في المعيار عبر الوسائط.