عندما تلتقي قيود الخطوط المشتركة بالمؤثرات غير المحلية في التصوير ثلاثي الأبعاد متعدد الآراء

طريقة التصوير ثلاثي الأبعاد متعدد المناظر القائمة على التعلم تعتمد بشكل كبير على مطابقة الميزات، والتي تتطلب تمثيلات مميزة ووصفية. حل فعال هو تطبيق تجميع الميزات غير المحلية، مثل تقنية الـ Transformer. رغم فائدتها، فإن هذه التقنيات تضيف أعباء حسابية ثقيلة لعملية التصوير ثلاثي الأبعاد متعدد المناظر. يركز كل بكسل بشكل كثيف على الصورة بأكملها. في المقابل، نقترح تقييد تجميع الميزات غير المحلية ضمن زوج من الخطوط: حيث يركز كل نقطة فقط على الزوج المقابل من الخطوط البؤرية. تستلهم فكرةنا من الهندسة البؤرية الكلاسيكية، التي تظهر أن نقطة واحدة مع فرضيات عمق مختلفة ستُساق إلى خط بؤري في المنظار الآخر. هذا التقييد يقلل من الفضاء البحثي ثنائي الأبعاد إلى خط بؤري في مطابقة الصور الاستيريو. وبالمثل، يشير هذا إلى أن مطابقة التصوير ثلاثي الأبعاد متعدد المناظر هي تمييز سلسلة نقاط تقع على نفس الخط. مستوحاةً من هذا البحث النقطي-الخطي، قمنا بتطوير استراتيجية تجميع غير محلي للنقطة-الخط. أولاً، طورنا خوارزمية بحث محسنة لتقسيم الخرائط ثنائية الأبعاد للميزات إلى أزواج خطوط بؤرية. ثم يقوم الـ Epipolar Transformer (ET) بتجميع الميزات غير المحلية بين أزواج الخطوط البؤرية. ندمج الـ ET في أساس قائم على التعلم للتصوير ثلاثي الأبعاد متعدد المناظر، والذي نسميه ET-MVSNet. يتمتع ET-MVSNet بأداء إعادة بناء رائد في كل من مقاييس DTU و Tanks-and-Temples مع كفاءة عالية. يمكن الحصول على الكود من الرابط https://github.com/TQTQliu/ET-MVSNet.