التحليل الارتباطي القاني للصور RGB-D العميقة لإكمال العمق النادر

في هذا البحث، نقترح شبكتنا "Correlation For Completion Network" (CFCNet)، وهي نموذج تعلم عميق من النهاية إلى النهاية يستخدم الارتباط بين مصدرَي بيانات لتنفيذ إكمال العمق النادر. تقوم CFCNet بتعلم التقاط الخصائص المرتبطة بالمعنى بشكل كبير بين المعلومات RGB والمعلومات العميقة. من خلال أزواج البكسلات في الصور والقياسات المرئية في خريطة عمق نادرة، تسهل CFCNet التحويل المتبادل على مستوى الخصائص بين مصادِر البيانات المختلفة. يمكّن هذا التحويل CFCNet من التنبؤ بالخصائص وإعادة بناء البيانات للقياسات العميقة المفقودة وفقًا لخصائص RGB المناظرة والمُحوَّلة لها. نوسع تحليل الارتباط الكانوني إلى مجال ثنائي الأبعاد ونسجله كواحد من أهداف التدريب لدينا (أي تحليل الارتباط الكانوني العميق ثنائي الأبعاد، أو "خسارة 2D2CCA"). تؤكد التجارب الواسعة قدرة شبكتنا CFCNet ومرونتها مقارنة بأحدث الأساليب في كلٍ من المشاهد الداخلية والخارجية ذات الأنماط النادرة الحقيقية المختلفة. الرموز متاحة على الرابط التالي: https://github.com/choyingw/CFCNet.