يمكن للبشر بسهولة تخيل الهندسة ثلاثية الأبعاد الكاملة للأجسام والمشاهد المخفية. تعتبر هذه القدرة الجذابة ضرورية للتعرف والفهم. لتمكين مثل هذه القدرة في أنظمة الذكاء الاصطناعي، نقترح VoxFormer، وهو إطار عمل استكمال مشهد دلالي يستند إلى تقنية الترانسفورمر (Transformer) ويمكنه إنتاج هندسة حجمية ثلاثية الأبعاد كاملة من الصور ثنائية الأبعاد فقط. يعتمد إطارنا العمل على تصميم ذو مرحلتين، حيث نبدأ بمجموعة نادرة من الاستعلامات المرئية والمحتلة المستخرجة من تقدير العمق، ثم نتبعها بمرحلة تكثيف تولد مجسمات ثلاثية الأبعاد كثيفة من المجسمات النادرة. الفكرة الأساسية لهذا التصميم هي أن الخصائص البصرية في الصور ثنائية الأبعاد تتوافق فقط مع بنية المشهد المرئي وليس مع المساحات المخفية أو الفارغة. لذلك، فإن بدء العملية بالتصنيف والتوقع للهياكل المرئية أكثر ثباتًا. بمجرد الحصول على مجموعة الاستعلامات النادرة، نقوم بتطبيق تصميم مُشفِّر تلقائي مقنَّع (masked autoencoder) لنشر المعلومات إلى جميع المجسمات عن طريق الانتباه الذاتي (self-attention). أظهرت التجارب على SemanticKITTI أن VoxFormer يتفوق على أفضل التقنيات الحالية بنسبة تحسين نسبية قدرها 20.0% في الهندسة و18.1% في الدلالات ويقلل من ذاكرة الوحدة المعالجة الرسومية (GPU) أثناء التدريب إلى أقل من 16 جيجابايت. يمكن الوصول إلى شفرتنا البرمجية عبر الرابط https://github.com/NVlabs/VoxFormer.