MVGS: التباعد الغاوسي المُنظَّم بعدة زوايا لتصنيع مناظر جديدة

العملات الحديثة في عرض الحجوم، مثل NeRF و3D Gaussian Splatting (3DGS)، قد ساهمت بشكل كبير في تحسين جودة العرض والكفاءة بفضل الحقل الإشعاعي العصبي الضمني المُدرَّب أو الغاوسيات الثلاثية الأبعاد. وبما أن العرض يتم على تمثيل صريح، فإن 3DGS الأصلي ومشتقاتها تحقق كفاءة في الوقت الحقيقي من خلال تحسين النموذج المعلمي باستخدام مراقبة من منظور واحد في كل تكرار أثناء التدريب، وهي تقنية مستمدة من NeRF. ونتيجة لذلك، تُفرَط في تكييف بعض المناظر، ما يؤدي إلى ظهور غير راضٍ في توليد المناظر الجديدة وتشوهات في الهندسة ثلاثية الأبعاد. ولحل المشكلات المذكورة أعلاه، نقترح طريقة جديدة لتحسين 3DGS تتميّز بأربع مساهمات مبتكرة رئيسية:1) نحول النموذج التقليدي للتدريب من منظور واحد إلى استراتيجية تدريب متعددة المناظر. وباستخدام تنظيمنا المتعدد المنظورات، يتم تحسين خصائص الغاوسيات الثلاثية الأبعاد بشكل إضافي دون تكييف مفرط لمناظر تدريب معينة. وبكونها حلًا عامًا، فإنها تحسن الدقة الشاملة في مجموعة متنوعة من السيناريوهات ومتغيرات الغاوسيات المختلفة.2) مستوحاة من الفوائد التي تقدمها المناظر الإضافية، نقترح خطة توجيه داخلي متقاطع، مما يؤدي إلى عملية تدريب تدريجية من الخشنة إلى الدقيقة فيما يتعلق بدرجات التفاصيل المختلفة.3) مبنيًا على تدريبنا المُنظَّم متعدد المناظر، نقترح استراتيجية تكثيف متقاطعة عبر الأشعة، حيث يتم تكثيف عدد أكبر من كيرنيلات الغاوسيات في مناطق التقاطع مع الأشعة، وذلك من خلال اختيار من منظورات محددة.4) وباستكشاف أعمق لاستراتيجية التكثيف، لاحظنا أن تأثير التكثيف يجب أن يُعزز عندما تكون بعض المناظر مختلفة بشكل كبير. كحل لذلك، نقترح استراتيجية مبتكرة لتكثيف مُعزَّز بمناظر متعددة، حيث يتم تشجيع الغاوسيات الثلاثية الأبعاد على التكثيف إلى عدد كافٍ وفقًا لذلك، ما يؤدي إلى تحسين دقة إعادة البناء.