Total3DUnderstanding: إعادة بناء معماري، ووضع كائنات وشبكة ثلاثية الأبعاد للمشاهد الداخلية من صورة واحدة بشكل مشترك

إعادة بناء المشهد الداخلي من حيث المعنى يشير إلى فهم المشهد وإعادة بناء الكائنات في آنٍ واحد. وتعمل الدراسات الحالية إما على جانب واحد من هذه المشكلة أو تركز على الكائنات المستقلة. في هذا البحث، نقوم بسد الفجوة بين الفهم وإعادة البناء، ونقترح حلًا من الطرف إلى الطرف لإعادة بناء تخطيط الغرفة، وحدود الكائنات الثلاثية الأبعاد، والشبكات (Meshes) من صورة واحدة. بدلًا من معالجة فهم المشهد وإعادة بناء الكائنات بشكل منفصل، يعتمد منهجنا على سياق المشهد الشامل، وينطوي على هيكل تدريجي من المستوى الأولي إلى التفصيلي يتكون من ثلاث مكونات: 1. تخطيط الغرفة مع وضعية الكاميرا؛ 2. حدود الكائنات الثلاثية الأبعاد؛ 3. الشبكات الخاصة بالكائنات. ونرى أن فهم السياق الخاص بكل مكون يمكن أن يُسهم في تحسين مهمة تحليل المكونات الأخرى، مما يمكّن من الفهم والبناء المشترك. وقد أظهرت التجارب على مجموعتي بيانات SUN RGB-D وPix3D أن منهجنا يتفوق باستمرار على الطرق الحالية في تقدير تخطيط الغرف الداخلية، وكشف الكائنات ثلاثية الأبعاد، وإعادة بناء الشبكات.