تمثيل ثلاثي الأبعاد مدمج لحقل الإشعاع

أظهرت الحقول الإشعاعية العصبية (NeRFs) إمكانات مميزة في التقاط المشاهد ثلاثية الأبعاد المعقدة بدقة عالية. ومع ذلك، يظل التحدي المستمر الذي يعيق انتشار استخدام NeRFs هو الحافة الحاسوبية الناتجة عن عملية العرض الحجمي (volumetric rendering). من ناحية أخرى، ظهرت تقنية التباعد الغاوسي ثلاثي الأبعاد (3D Gaussian Splatting - 3DGS) حديثًا كتمثيل بديل يعتمد على تمثيل قائم على التوزيع الغاوسي ثلاثي الأبعاد، ويستخدم_pipeline_ التصيير (rasterization pipeline) لعرض الصور بدلًا من التصيير الحجمي، مما يحقق سرعة عرض مذهلة ونوعية صور واعدة. لكن عيبًا كبيرًا يظهر في هذه التقنية، حيث تتطلب 3DGS عدداً كبيرًا من التوزيعات الغاوسية الثلاثية الأبعاد للحفاظ على جودة عالية في الصور المُعرضة، ما يستهلك كمية كبيرة من الذاكرة والمساحة التخزينية. ولحل هذه المشكلة الحرجة، نركّز على هدفين رئيسيين: تقليل عدد نقاط الغاوسية دون التضحية بالأداء، وضغط الخصائص المرتبطة بالغاوسية، مثل الألوان المعتمدة على الزاوية والتمايز (covariance). لتحقيق ذلك، نقترح استراتيجية قابلة للتعلم تعتمد على قناع (mask) تقلل بشكل كبير من عدد الغاوسية مع الحفاظ على أداء عالٍ. علاوة على ذلك، نقترح تمثيلًا مكثفًا وفعالًا للون المعتمد على الزاوية باستخدام حقل عصبي مبني على الشبكة (grid-based neural field) بدلًا من الاعتماد على التوافيق الكروية (spherical harmonics). وأخيرًا، نتعلم مجموعات رموز (codebooks) لتمثيل مكثف للخصائص الهندسية للغاوسية من خلال التكميم المتجهي (vector quantization). وباستخدام تقنيات ضغط النموذج مثل التكميم (quantization) وترميز الانتروبيا (entropy coding)، نُظهر بشكل متسق تقليلًا في المساحة التخزينية بنسبة تزيد عن 25 مرة، مع تحسين سرعة العرض، مع الحفاظ على جودة تمثيل المشهد مقارنة بـ 3DGS. تقدم دراستنا إطارًا شاملاً لتمثيل المشاهد ثلاثية الأبعاد، يحقق أداءً عاليًا، وتدريبًا سريعًا، وانسيابية عالية، وعرضًا في الزمن الحقيقي. يمكن الاطلاع على صفحة المشروع على الرابط التالي: https://maincold2.github.io/c3dgs/.