إكمال المشهد الدلالي ثلاثي الأبعاد بتيارين

استنتاج الهندسة ثلاثية الأبعاد والمعنى الدلالي للأسطح المخفية هو مهمة صعبة للغاية. مؤخرًا، تم اقتراح أول نهج للتعلم من النهاية إلى النهاية يكمل المشهد من صورة عمق واحدة. يقوم هذا النهج بتحويل المشهد إلى مكعبات فوكسل ويتنبأ لكل فوكسل ما إذا كان مشغولًا وإذا كان كذلك، تصنيفه الدلالي. في هذا العمل، نقترح نهجًا ذو تيارين يستفيد من معلومات العمق والمعلومات الدلالية المستنتجة من الصورة RGB لهذه المهمة. يقوم النهج ببناء موتر دلالي ثلاثي الأبعاد غير كامل، يستخدم ترميزًا مضغوطًا بثلاث قنوات للمعلومات الدلالية المستنتجة، ويستخدم شبكة CNN ثلاثية الأبعاد لاستنتاج الموتر الدلالي الثلاثي الأبعاد الكامل. في تقييمنا التجريبي، أظهرنا أن النهج ذو التيارين المقترح يتفوق بشكل كبير على أفضل التقنيات الحالية في استكمال المشهد الدلالي.