Point3R: إعادة بناء ثلاثي الأبعاد بالتدفق مع ذاكرة المؤشر المكاني الصريحة

إعادة بناء المشاهد ثلاثية الأبعاد الكثيفة من تسلسل مرتب أو مجموعات صور غير مرتبة هو خطوة حاسمة عند نقل الأبحاث في رؤية الحاسوب إلى السيناريوهات العملية. وفقًا للنموذج الذي قدمته DUSt3R، والذي يوحّد زوج الصور بكثافة في نظام إحداثي مشترك، فإن الطرق اللاحقة تحتفظ بذاكرة ضمنية لتحقيق إعادة بناء ثلاثي الأبعاد كثيف من صور أكثر. ومع ذلك، فإن هذه الذاكرة ضمنية محدودة في طاقتها وقد تعاني من فقدان المعلومات للأطر السابقة. نقترح Point3R، وهو إطار عمل عبر الإنترنت يستهدف إعادة بناء ثلاثي الأبعاد كثيف متواصل. بالتحديد، نحتفظ بذاكرة فهرسة مكانية صريحة مرتبطة مباشرة بالهيكل الثلاثي الأبعاد للمشهد الحالي. يتم تعيين كل فهرس في هذه الذاكرة لموقع ثلاثي أبعاد معين ويجمع المعلومات القريبة من المشهد في نظام الإحداثيات العالمي إلى خاصية مكانية تتغير. المعلومات المستخرجة من الإطار الأخير تتفاعل بشكل صريح مع ذاكرة الفهرس هذه، مما يمكّن من دمج الملاحظة الحالية بكثافة في نظام الإحداثيات العالمي. نصمم غرس موقع هرمي ثلاثي الأبعاد لتعزيز هذه التفاعل ونقوم بتصميم آلية اندماج بسيطة ولكنها فعالة لضمان أن تكون ذاكرة الفهرس لدينا موحدة وكفوءة. يحقق طرحنا أداءً تنافسيًا أو على مستوى الطليعة في مهام مختلفة بأقل تكاليف للتدريب. الرمز البرمجي متاح على: هذا الرابط (this https URL).