الترشيح الثلاثي الأبعاد باستخدام البُقع الغاوسية لعرض حقول الإشعاع في الوقت الفعلي

أحدثت طرق حقل الشعاعية (Radiance Field) تحوّلاً حديثاً في توليد مناظر جديدة للمشاهد التي تم التقاطها باستخدام صور متعددة أو مقاطع فيديو. ومع ذلك، لا يزال تحقيق جودة بصرية عالية يتطلب شبكات عصبية باهظة التكلفة في التدريب والعرض، في حين أن الطرق الأسرع الحديثة لا تخلو من التنازل عن الجودة مقابل السرعة. بالنسبة للمشاهد غير المحدودة والكاملة (بخلاف الكائنات المنعزلة) وعرض الصور بدقة 1080 بكسل، لا تزال أي طريقة حالية قادرة على تحقيق معدلات عرض حقيقية (في الوقت الفعلي). نقدّم ثلاث عناصر أساسية تُمكّننا من تحقيق أفضل جودة بصرية ممكنة مع الحفاظ على أوقات تدريب تنافسية، وبشكل مهم، تتيح لنا توليد مناظر جديدة عالية الجودة بسرعة فعّالة (30 إطاراً في الثانية أو أكثر) بدقة 1080 بكسل. أولاً، بدءاً من نقاط نادرة تُنتج أثناء عملية معايرة الكاميرا، نمثل المشهد باستخدام غاوسيات ثلاثية الأبعاد (3D Gaussians) التي تحافظ على الخصائص المرغوبة لحقول الشعاعية الحجمية المستمرة لتحسين المشهد، مع تجنّب الحسابات غير الضرورية في الفضاءات الفارغة؛ ثانيًا، نُجري عملية تحسين متداخلة (interleaved optimization) وتحكم في الكثافة للغاوسيات ثلاثية الأبعاد، مع التحسين المميز للانحراف غير المتماثل (anisotropic covariance) لتحقيق تمثيل دقيق للمشهد؛ ثالثًا، طوّرنا خوارزمية عرض سريعة تأخذ بعين الاعتبار الرؤية (visibility-aware rendering) التي تدعم التبصيم غير المتماثل (anisotropic splatting)، مما يسرّع من عملية التدريب ويسمح بالعرض في الوقت الفعلي. ونُظهر جودة بصرية متفوّقة على عدة مجموعات بيانات معروفة، مع إمكانية العرض في الوقت الفعلي.