هرم السياق المتدرج لإكمال المشهد الصرفي ثلاثي الأبعاد بدقة كاملة

الاستكمال المشهدي الدلالي (SSC) يهدف إلى التنبؤ بالتواجد الحجمي والفئة الدلالية لمشهد ثلاثي الأبعاد بشكل متزامن. يساعد هذا في تمكين الأجهزة الذكية من فهم التفاعل مع المشاهد المحيطة بها. ومع ذلك، بسبب الحاجة العالية للذاكرة، تقتصر الطرق الحالية على إنتاج توقعات استكمال ذات دقة منخفضة، مما يؤدي عادةً إلى فقدان تفاصيل الأشياء. بالإضافة إلى ذلك، فإنها تتجاهل السياقات الفضائية متعددة المقاييس، والتي تلعب دورًا حاسمًا في الاستدلال الثلاثي الأبعاد. لمعالجة هذه القضايا، نقترح في هذا العمل إطارًا جديدًا للتعلم العميق يُسمى شبكة الهرم السياقي المتدرجة (CCPNet)، والذي يقوم بالاستدلال المشترك عن التواجد والفئات الدلالية لمشهد ثلاثي الأبعاد حجمي من صورة عمق واحدة. يعمل الإطار المقترح على تحسين اتساق التسميات باستخدام هرم سياقي متدرج. وفي الوقت نفسه، يقوم باستعادة الهياكل الدقيقة للأجسام تدريجيًا باستخدام وحدات التكرار البواقي الموجهة (GRR). يتميز الإطار المقترح بثلاث مزايا بارزة: (1) يُنمذج السياق الفضائي الثلاثي الأبعاد بشكل صريح لتحسين الأداء؛ (2) يتم إنتاج أحجام ثلاثية الأبعاد بدقة كاملة مع الحفاظ على التفاصيل الهيكلية؛ (3) يتم التقاط نماذج خفيفة الوزن تتطلب ذاكرة قليلة مع قابلية توسع جيدة. أظهرت التجارب الواسعة أن الإطار المقترح يمكنه رغم استخدامه لخريطة عمق من زاوية واحدة فقط، إنتاج نتائج SSC عالية الجودة وتتفوق على أفضل الأساليب الحالية في كل من مجموعتي البيانات المصنعة SUNCG والحقيقية NYU.