نقطة-GCC: التدريب المسبق الذاتي الشامل للمناظر ثلاثية الأبعاد من خلال التباين الهندسي-اللوني

المعلومات الهندسية واللونية التي تقدمها السحابات النقطية ضرورية للغاية لفهم المشاهد ثلاثية الأبعاد. تصف هاتان المعلوماتان جوانب مختلفة من السحابات النقطية، ولكن الطرق الحالية تعاني من نقص في التصميم الدقيق للتمييز بينهما وربطهما. لذلك، نستكشف نموذجًا ذاتيًا مراقبًا ثلاثي الأبعاد يمكنه الاستفادة بشكل أفضل من علاقات معلومات السحابة النقطية. بتحديد، نقترح إطارًا عامًا للتدريب المسبق على المشاهد ثلاثية الأبعاد عبر التباين الهندسي-اللوني (Point-GCC)، والذي يتوافق بين المعلومات الهندسية واللونية باستخدام شبكة سيامية (Siamese Network). لتحقيق أهداف التطبيقات الفعلية، قمنا بتصميم: (i) إشراف متدرج مع تباين على مستوى النقاط وإعادة بناء التباين على مستوى الكائنات استنادًا إلى وحدة التجميع العميقة الجديدة لتضييق الفجوة بين التدريب المسبق والمهام اللاحقة؛ (ii) هيكل خلفي مستقل عن العمارة ليتكيف مع مختلف النماذج اللاحقة. بفضل التمثيل على مستوى الكائن المرتبط بالمهام اللاحقة، يمكن لـ Point-GCC تقييم أداء النموذج مباشرة، وتظهر النتائج فعالية طرقنا. كما تظهر نتائج التعلم المنقول على نطاق واسع من المهام تحسينات متسقة عبر جميع المجموعات البيانات، مثل تحقيق أفضل النتائج الحالية في اكتشاف الكائنات على مجموعتي بيانات SUN RGB-D و S3DIS. سيتم إطلاق الرموز البرمجية في https://github.com/Asterisci/Point-GCC.