Open3DIS: تقسيم النماذج ثلاثية الأبعاد ذات المفردات المفتوحة بإرشاد من الأقنعة ثنائية الأبعاد

نقدم Open3DIS، حلًا جديدًا مصمم لمعالجة مشكلة تقسيم النماذج المفتوحة (Open-Vocabulary Instance Segmentation) داخل المشاهد ثلاثية الأبعاد. تتميز الأشياء في البيئات ثلاثية الأبعاد بأشكال وأحجام وألوان متنوعة، مما يجعل التعرف الدقيق على المستويات الفردية أمرًا صعبًا. لقد حققت التطورات الحديثة في فهم المشاهد ذات المفردات المفتوحة تقدمًا كبيرًا في هذا المجال من خلال استخدام شبكات اقتراح النماذج الثلاثية الأبعاد التي لا تعتمد على الفئات لتحديد مواقع الأشياء وتعلم خصائص قابلة للبحث لكل قناع ثلاثي الأبعاد. رغم أن هذه الطرق تنتج اقتراحات نماذج عالية الجودة، إلا أنها تواجه صعوبات في تحديد الأشياء الصغيرة الحجم والهندسية الغامضة. الفكرة الأساسية لطريقة عملنا هي وحدة جديدة تقوم بتجميع أقنعة النماذج ثنائية الأبعاد عبر الإطارات وربطها بمناطق سحابة نقاط هندسية متسقة كاقتراحات أشياء عالية الجودة لتخطي هذه القيود. يتم بعد ذلك دمج هذه الاقتراحات مع اقتراحات النماذج الثلاثية الأبعاد التي لا تعتمد على الفئات لتشمل مجموعة واسعة من الأشياء في العالم الحقيقي. لتأكيد نهجنا، أجرينا تجارب على ثلاثة مجموعات بيانات بارزة، بما في ذلك ScanNet200 و S3DIS و Replica، مما أظهر زيادة كبيرة في أداء تقسيم الأشياء ذات الفئات المتنوعة مقارنة بالأساليب الرائدة حاليًا.