TensoRF: حقول الإشعاع المتناظرة

نقدم TensoRF، وهي طريقة جديدة لنمذجة وإعادة بناء حقول الإشعاع. على عكس NeRF التي تعتمد بشكل خالص على شبكات النيورونات المتعددة الطبقات (MLPs)، نقوم بنمذجة حقل الإشعاع للمناظر كمتجه رباعي الأبعاد (4D tensor) يمثل شبكة فوكسل ثلاثية الأبعاد (3D voxel grid) مع ميزات متعددة القنوات لكل فوكسل. الفكرة الأساسية لدينا هي تحليل المتجه الرباعي الأبعاد للمناظر إلى عدة مكونات متجهية منخفضة الرتبة ومكثفة. نوضح أن تطبيق التحليل التقليدي CP -- الذي يقوم بتقسيم المتجهات إلى مكونات ذات رتبة واحدة مع متجهات مكثفة -- في إطارنا يؤدي إلى تحسينات على NeRF البسيطة. لتعزيز الأداء بشكل أكبر، نقدم تقنية تحليل جديدة للمتجه والمصفوفة (VM decomposition) التي تخفف قيود الرتبة المنخفضة لحالتين من المتجه وتقسم المتجهات إلى عوامل متجهة ومصفوفية مكثفة. بالإضافة إلى جودة العرض الفائقة، فإن نماذجنا باستخدام تقنيتي CP وVM تؤدي إلى انخفاض كبير في حجم الذاكرة بالمقارنة مع الأعمال السابقة والموازية التي تقوم بتحسين الميزات لكل فوكسل مباشرةً. من خلال التجارب، أظهرنا أن TensoRF مع التحليل CP يمكنها إعادة بناء المناظر بسرعة (<30 دقيقة) وبجودة عرض أفضل وحتى بحجم نموذج أصغر (<4 ميجابايت) بالمقارنة مع NeRF. بالإضافة إلى ذلك، فإن TensoRF مع التحليل VM يعزز جودة العرض بشكل أكبر ويتفوق على الأساليب الرائدة السابقة، بينما يقلل من وقت إعادة البناء (<10 دقائق) ويحتفظ بحجم نموذج صغير (<75 ميجابايت).