OpenMask3D: تقسيم الحالات ثلاثية الأبعاد بمعجم مفتوح

نقدم مهمة التجزئة الشاملة للعناصر ثلاثية الأبعاد (open-vocabulary 3D instance segmentation). تقتصر الطرق الحالية لتجزئة العناصر ثلاثية الأبعاد عادةً على التعرف على فئات الأشياء من مجموعة مغلقة محددة سلفًا من الفئات التي تم تسميتها في مجموعات البيانات التدريبية. هذا يؤدي إلى حدود مهمة في التطبيقات الواقعية حيث قد يكون هناك حاجة لأداء مهام تُوجه بواسطة استعلامات شاملة جديدة (open-vocabulary queries) تتعلق بمجموعة واسعة من الأشياء. مؤخرًا، ظهرت طرق فهم المشاهد ثلاثية الأبعاد الشاملة لمعالجة هذه المشكلة من خلال تعلم خصائص قابلة للبحث لكل نقطة في المشهد. بينما يمكن استخدام مثل هذا التمثيل مباشرة لأداء التجزئة الدلالية، لا تستطيع الطرق الموجودة فصل حالات العناصر المتعددة. في هذا العمل، نعالج هذه الحدود ونقترح OpenMask3D، وهي طريقة صفرية (zero-shot) للتجزئة الشاملة للعناصر ثلاثية الأبعاد. بقيادة أقنعة العناصر ثلاثية الأبعاد غير المرتبطة بالفئة (class-agnostic 3D instance masks) التي يتم التنبؤ بها، يجمع نموذجنا الخصائص لكل قناع عبر دمج متعدد الآراء للمضمنات الصورية المستندة إلى CLIP. تظهر التجارب والدراسات الاستقصائية على ScanNet200 وReplica أن OpenMask3D تتفوق على الطرق الأخرى الشاملة، خاصةً بالنسبة للتوزيع ذي الذيل الطويل (long-tail distribution). كما تبرز التجارب النوعية أيضًا قدرة OpenMask3D على تقسيم خصائص العناصر بناءً على استعلامات حرة تصف الهندسة والقدرات والمادة.