3D-LFM: نموذج رفع الأساس

رفع الهيكل ثلاثي الأبعاد والكاميرا من العلامات ثنائية الأبعاد يشكل أساس التخصص بأكمله في رؤية الحاسوب. كانت الطرق التقليدية مقيدة بالأشياء الصلبة المحددة، مثل تلك الموجودة في مشاكل نقاط المنظور المتعددة (PnP)، ولكن تعلم العمق قد وسع قدرتنا على إعادة بناء مجموعة واسعة من فئات الأشياء (مثل C3DPO و PAUL) مع المرونة تجاه الضوضاء والإخفاءات والتشوهات المنظورية. ومع ذلك، فقد كانت جميع هذه التقنيات محدودة بسبب الحاجة الأساسية لتأسيس التقابلات عبر بيانات التدريب ثلاثية الأبعاد -- مما يحد بشكل كبير من فائدتها في التطبيقات التي تحتوي على كمية كبيرة من بيانات "التقابل" ثلاثية الأبعاد. نهجنا يستخدم الخاصية الطبيعية للتغير المتساوي للترانسفورمرز لإدارة عدد متغير من النقاط لكل حالة بيانات ثلاثية الأبعاد، ويتحمل الإخفاءات، ويتوسع إلى فئات غير مرئية سابقًا. نظهر أداءً متفوقًا على معايير مهام رفع البيانات ثنائية-ثلاثية الأبعاد. بما أن نهجنا يمكن تدريبه عبر مجموعة واسعة من الهياكل، فإننا نشير إليه ببساطة باسم نموذج الأساس لرفع البيانات ثلاثية الأبعاد (3D-LFM) -- وهو الأول من نوعه.