NDC-Scene: تعزيز إكمال المشهد الثلاثي الأبعاد أحادي العدسة في فضاء إحداثيات الجهاز المُعَمَّمَة

لقد حظيت عملية استكمال المشهد الثلاثي الأبعاد من خلال الكاميرا أحادية العدسة (SSC) باهتمام كبير في السنوات الأخيرة بسبب إمكاناتها في التنبؤ بالمعاني المعقدة وأشكال الهندسة من صورة واحدة فقط، دون الحاجة إلى مدخلات ثلاثية الأبعاد. في هذا البحث، نحدد عدة قضايا حاسمة في الأساليب الحالية الأكثر تقدماً، بما في ذلك غموض الميزات (Feature Ambiguity) للميزات المرسومة ثنائية الأبعاد على شعاع إلى الفضاء الثلاثي الأبعاد، وغموض الوضع (Pose Ambiguity) للتحويل الثلاثي الأبعاد، وعدم التوازن الحسابي (Computation Imbalance) للتحويل الثلاثي الأبعاد عبر مستويات العمق المختلفة. لحل هذه المشكلات، طورنا شبكة جديدة لاستكمال المشهد باستخدام الإحداثيات المعيارية للأجهزة (NDC-Scene)، والتي تمتد مباشرة من الخريطة ثنائية الأبعاد للميزات إلى فضاء الإحداثيات المعيارية للأجهزة (NDC)، بدلاً من الفضاء العالمي مباشرة، من خلال استعادة تدريجية لبعد العمق باستخدام عمليات التحويل العكسي. تظهر نتائج التجارب أن نقل الجزء الأكبر من الحسابات من الفضاء الثلاثي الأبعاد المستهدف إلى الفضاء المقترح للإحداثيات المعيارية للأجهزة يفيد مهام SSC أحادية العدسة. بالإضافة إلى ذلك، صممنا محولين ثنائيين متكيفين مع العمق (Depth-Adaptive Dual Decoder) لإعادة تضخيم ودمج الخرائط ثنائية وثلاثية الأبعاد للميزات بشكل متزامن، مما يحسن الأداء العام بشكل أكبر. تؤكد تجاربنا الواسعة أن الطريقة المقترحة تتفوق باستمرار على الأساليب الأكثر تقدماً في كل من مجموعة بيانات SemanticKITTI الخارجية ومجموعة بيانات NYUv2 الداخلية. يمكن الوصول إلى كودنا عبر الرابط: https://github.com/Jiawei-Yao0812/NDCScene.