PE3R: إطار عمل لإعادة بناء ثلاثية الأبعاد بكفاءة
1. مقدمة البرنامج التعليمي
PE3R (إعادة بناء ثلاثية الأبعاد بكفاءة إدراكية) هو إطار عمل مبتكر مفتوح المصدر لإعادة بناء ثلاثية الأبعاد، أصدره مختبر xML بجامعة سنغافورة الوطنية (NUS) في 10 مارس 2025. يحقق هذا الإطار نمذجة مشهدية فعّالة وذكية من خلال دمج تقنية الإدراك متعدد الوسائط. يعتمد المشروع على عدد من نتائج أبحاث الرؤية الحاسوبية المتطورة. يكفي إدخال صور ثنائية الأبعاد لإكمال إعادة بناء المشهد ثلاثي الأبعاد بسرعة. على بطاقة الرسومات RTX 3090، يبلغ متوسط وقت إعادة بناء المشهد الواحد 2.3 دقيقة فقط، وهو أكثر كفاءة من الطرق التقليدية بـ 65%.
من حيث التنفيذ الفني، يتبنى PE3R بنية تصميم معيارية:
- يعتمد محرك إعادة البناء الأساسي على تقنية DUSt3R/MASt3R، مما يحقق تحويلًا فعالًا من الصور ثنائية الأبعاد إلى سحابات نقاط ثلاثية الأبعاد.
- تدمج وحدة الإدراك البصري نماذج التجزئة من سلسلة SAM/SAM2 لضمان التعرف الدقيق وتجزئة كائنات المشهد، مع دعم النشر الفعال على الأجهزة الطرفية المحمولة من خلال الإصدار المحسن لـ MobileSAM.
- تستخدم طبقة الفهم الدلالي نموذج اللغة المرئية SigLIP، والذي يمنح النظام قدرات فهم عبر المشهد بدون أي عينة، ويمكن للمستخدمين الاستعلام بشكل مباشر عن كائنات محددة من خلال أوامر اللغة الطبيعية.
إن الابتكار الأكثر ثورية في هذا المشروع يكمن في خوارزمية التحسين ذات المستويين:
- في المرحلة الأولى، يتم استخدام خوارزمية MST (شجرة الامتداد الدنيا) للمحاذاة الخشنة السريعة.
- في المرحلة الثانية، يتم تحقيق إعادة بناء دقيقة من خلال تقديم تعديل الحزمة المقيدة دلاليًا.
لا يضمن هذا التصميم جودة إعادة البناء فحسب، بل يتحكم أيضًا في استخدام ذاكرة الفيديو في حدود 6.2 جيجابايت، مما يسمح للنظام بالعمل بسلاسة على وحدات معالجة الرسومات المخصصة للمستهلكين.PE3R: إعادة بناء ثلاثية الأبعاد بكفاءة الإدراك".
موارد الحوسبة المستخدمة في هذا البرنامج التعليمي هي RTX 4090.
2. أمثلة المشاريع
3. خطوات التشغيل
1. بعد بدء تشغيل الحاوية، انقر فوق عنوان API للدخول إلى صفحة الويب
2. خطوات الاستخدام
بمجرد دخولك إلى الموقع، يمكنك البدء في استخدامه
إذا تم عرض "بوابة سيئة"، فهذا يعني أن النموذج قيد التهيئة. نظرًا لأن النموذج كبير الحجم، يرجى الانتظار لمدة 1-2 دقيقة وتحديث الصفحة.
ملحوظة:
- تحميل الصورة:
- يرجى تحميل من 2 إلى 8 صور في أكبر عدد ممكن من الاتجاهات وبوضوح قدر الإمكان.
- إذا لم يكن التأثير مرضيًا، فيرجى زيادة عدد الصور التي تم تحميلها أو تحسين جودة الصور.
- الحد الأدنى: من المهم ضبط الحد الأدنى بشكل صحيح - الحد الأدنى المرتفع للغاية قد يؤدي إلى اكتشافات خاطئة، في حين أن الحد الأدنى المنخفض للغاية قد يؤدي إلى اكتشافات خاطئة، لذلك يجب تعديله وفقًا للموقف الفعلي.
4. المناقشة
🖌️ إذا رأيت مشروعًا عالي الجودة، فيرجى ترك رسالة في الخلفية للتوصية به! بالإضافة إلى ذلك، قمنا أيضًا بتأسيس مجموعة لتبادل الدروس التعليمية. مرحبًا بالأصدقاء لمسح رمز الاستجابة السريعة وإضافة [برنامج تعليمي SD] للانضمام إلى المجموعة لمناقشة المشكلات الفنية المختلفة ومشاركة نتائج التطبيق↓
معلومات الاستشهاد
معلومات الاستشهاد لهذا المشروع هي كما يلي:
@article{hu2025pe3r,
title={PE3R: Perception-Efficient 3D Reconstruction},
author={Hu, Jie and Wang, Shizun and Wang, Xinchao},
journal={arXiv preprint arXiv:2503.07507},
year={2025}
}