3D-R2N2: نهج موحد لإعادة بناء الأشياء ثلاثية الأبعاد من زاوية واحدة ومتعددة الزوايا

مستوحدين من النجاحات الحديثة للطرق التي تستفيد من الأولويات الشكلية لتحقيق إعادة بناء ثلاثية الأبعاد قوية، نقترح معمارية جديدة لشبكة عصبية متكررة نطلق عليها اسم شبكة إعادة البناء ثلاثية الأبعاد المتكررة (3D-R2N2). تقوم هذه الشبكة بتعلم التحويل من صور الأجسام إلى أشكالها الثلاثية الأبعاد الأساسية من خلال مجموعة كبيرة من البيانات المصنعة. تأخذ شبكتنا صورة أو أكثر لمثيل جسم من زوايا رؤية عشوائية وتنتج إعادة بناء للجسم على شكل شبكة احتلال ثلاثية الأبعاد. على عكس معظم الأعمال السابقة، لا تتطلب شبكتنا أي تعليقات صورية أو تصنيفات للأجسام أثناء التدريب أو الاختبار. تظهر تحليلاتنا التجريبية الواسعة أن إطار عمل إعادة البناء الخاص بنا: أ) يتفوق على أفضل الطرق الحالية لإعادة بناء الرؤية الواحدة، و ب) يمكنه إعادة بناء الأجسام ثلاثيًا في الحالات التي تفشل فيها الطرق التقليدية SFM/SLAM (لعدم وجود نسيج وكذا بسبب القاعدة العريضة).