Command Palette
Search for a command to run...
TriSplat: إعادة بناء مشهد ثلاثي الأبعاد تقدمية جاهزة للمحاكاة
TriSplat: إعادة بناء مشهد ثلاثي الأبعاد تقدمية جاهزة للمحاكاة
Weijie Wang Zimu Li Jinchuan Shi Zeyu Zhang Botao Ye Marc Pollefeys Donny Y. Chen Bohan Zhuang
الملخص
يتم التعامل مع إعادة البناء ثلاثي الأبعاد من زوايا مشاهدة محدودة بشكل متزايد باستخدام شبكات "سبلاتينغ" (splatting) ذات التغذية الأمامية التي تتنبأ بـ "بريميتيفات" (primitives) صريحة مباشرة من الصور. ومع ذلك، تظل معظم الطرق الحالية مركزة على "بريميتيفات" غاوسية، وتكشف عن الأسطح بشكل غير مباشر فقط: إذ لا يزال استخراج شبكة (mesh) قابلة للاستخدام لمحاكاة ما بعد المعالجة، أو الاستدلال الفيزيائي، أو التفاعل الجسدي يتطلب خطوات لاحقة مكلفة تكسر وعد التغذية الأمامية. هذا القيد يكون أكثر وضوحًا في الإعدادات الحرة من الوضعية (pose-free)، حيث يجب تقدير بنية المشهد ومعلمات الكاميرا بشكل مشترك من الملاحظات المحدودة. نقدم TriSplat، وهو شبكة إعادة بناء ذات تغذية أمامية تمثل المشاهد باستخدام "بريميتيفات" مثلثة موجهة، وتصدّر شبكات مشهد جاهزة للمحاكاة مباشرة من تمرير أمامي واحد. بناءً على الصور المدخلة، تتنبأ الشبكة بخريطة النقاط ثلاثية الأبعاد المحلية، وسمات المثلثات، ووضعيات الكاميرا، والخصائص البصرية الداخلية (intrinsics) اختيارية. بدلاً من الانحدار نحو توجيه المثلثات كمتغير خفي غير مقيد، يبني نهجنا الأعمدة الطبيعية للهندسة من خرائط النقاط المتنبأ بها، ويقوم بتحسينها باستخدام رأس طبيعي مشروط بالصورة، ثم يحولها إلى إطارات محلية مستقرة لتوصيف المثلثات. يعمل جدول بدء تشغيل العمود الطبيعي الأحادي على استقرار التدريب المبكر بشكل أكبر، بينما يعمل جدول الشفافية والضبابية تدريجيًا على حدة تمثيل السطح المتعلم لاستخراج الشبكة مباشرة. تُظهر التجارب على مجموعات البيانات RealEstate10K وDL3DV أن هذا التمثيل ينتج إعادة بناء أكثر دقة هندسيًا من الأسس القائمة على "بريميتيفات" غاوسية ذات التغذية الأمامية، مع الحفاظ على جودة عالية في عرض زوايا مشاهدة جديدة. نظرًا لأن "بريميتيفات" العرض هي نفسها مثلثات سطحية، يمكن استيعاب المخرجات مباشرة بواسطة محركات الفيزياء، وكاشفات التصادم، وخطوط أنابيب العرض القياسية دون أي تحويل، مما يجعلها حلاً عمليًا جاهزًا للمحاكاة لإعادة بناء مشاهد ثلاثية الأبعاد ذات تغذية أمامية.