الترميز الضاغط متعدد الآراء لإعادة بناء الصور ثلاثية الأبعاد

من الأهداف الرئيسية للاعتراف البصري فهم الأجسام والمشاهد من صورة واحدة. لقد شهد الاعتراف ثنائي الأبعاد تقدماً هائلاً بفضل التعلم على نطاق واسع والتمثيلات ذات الأغراض العامة. بالمقارنة، يطرح الاعتراف ثلاثي الأبعاد تحديات جديدة ناجمة عن الإخفاء الذي لا يتم تصويره في الصورة. حاولت الأعمال السابقة التغلب على هذه التحديات من خلال الاستدلال من عدة زوايا رؤية أو الاعتماد على نماذج CAD النادرة والأولويات الخاصة بكل فئة، مما يعرقل توسيع نطاق التطبيق إلى بيئات جديدة. في هذا العمل، نستكشف إعادة بناء ثلاثي الأبعاد من زاوية رؤية واحدة من خلال تعلم تمثيلات قابلة للتعميم مستوحاة من التقدم في مجال التعلم الذاتي بدون إشراف. نقدم إطار عمل بسيط يعمل على نقاط ثلاثية الأبعاد للأجسام الفردية أو المشاهد الكاملة مع تدريب على نطاق واسع وخالي من الفئات باستخدام مقاطع فيديو متنوعة RGB-D. نموذجنا، ترميز الضغط متعدد الزوايا (Multiview Compressive Coding - MCC)، يتعلم ضغط المظهر الهندسي للإدخال لتوقع البنية ثلاثية الأبعاد من خلال استعلام مفكك ثلاثي الأبعاد. يسمح العمومية والكفاءة العالية لموديل MCC له بتعلم البيانات الكبيرة والمتنوعة مع قدرة قوية على التعميم للأجسام الجديدة التي تخيلتها DALL$\cdot$E 2 أو تم التقاطها بشكل طبيعي باستخدام آيفون.