تحليل و إعادة بناء المشهد ثلاثي الأبعاد بشكل شامل من صورة RGB واحدة

نقترح إطارًا حاسوبيًا لتحليل صورة واحدة ملونة (RGB) وإعادة بناء تكوين ثلاثي الأبعاد شامل يتكون من مجموعة من نماذج CAD باستخدام نموذج قواعد عشوائية. وبشكل خاص، نقدم قاعدة المشهد الشاملة (HSG) لتمثيل هيكل المشهد الثلاثي الأبعاد، والتي تصف توزيعًا مشتركًا في الفضاء الوظيفي والهندسي للمشاهد الداخلية. يلتقط النموذج المقترح HSG ثلاثة أبعاد أساسية وغالبًا ما تكون خفية في المشاهد الداخلية: i) السياق البشري الخفي، الذي يصف القدرة على الاستخدام والوظائف الترتيب الغرفة، ii) القيود الهندسية على تكوينات المشهد، وiii) القيود المادية التي تضمن إعادة بناء وتفسير مادي معقول.نحل هذه المشكلة المشتركة للتحليل وإعادة البناء بطريقة التحليل عبر التركيب (analysis-by-synthesis)، حيث نسعى إلى تقليل الاختلافات بين الصورة الإدخال والصور المرسومة التي تم إنشاؤها بواسطة تمثيلنا الثلاثي الأبعاد، وذلك على مدى العمق وخريطة الانحدار السطحي وخريطة تقسيم الكائنات. يتم استنتاج التكوين الأمثل، الذي يتم تمثيله بخريطة التحليل (parse graph)، باستخدام سلسلة ماركوف مونت كارلو (MCMC)، والتي تعبر بكفاءة عن الفضاء الحل غير القابل للمفاضلة، وتحسن بشكل مشترك تحديد موقع الكائنات والتخطيط الثلاثي الأبعاد والسياق البشري الخفي. تظهر النتائج التجريبية أن الخوارزمية المقترحة تحسن قدرة التعميم وتتفوق بشكل كبير على الأساليب السابقة في تقدير التخطيط الثلاثي الأبعاد وكشف الكائنات الثلاثية الأبعاد وفهم المشهد الشامل.