HyperAIHyperAI

Command Palette

Search for a command to run...

OpenMask3D: تقسيم الحالات ثلاثية الأبعاد بمعجم مفتوح

Ayça Takmaz Elisabetta Fedele Robert W. Sumner Marc Pollefeys Federico Tombari Francis Engelmann

الملخص

نقدم مهمة التجزئة الشاملة للعناصر ثلاثية الأبعاد (open-vocabulary 3D instance segmentation). تقتصر الطرق الحالية لتجزئة العناصر ثلاثية الأبعاد عادةً على التعرف على فئات الأشياء من مجموعة مغلقة محددة سلفًا من الفئات التي تم تسميتها في مجموعات البيانات التدريبية. هذا يؤدي إلى حدود مهمة في التطبيقات الواقعية حيث قد يكون هناك حاجة لأداء مهام تُوجه بواسطة استعلامات شاملة جديدة (open-vocabulary queries) تتعلق بمجموعة واسعة من الأشياء. مؤخرًا، ظهرت طرق فهم المشاهد ثلاثية الأبعاد الشاملة لمعالجة هذه المشكلة من خلال تعلم خصائص قابلة للبحث لكل نقطة في المشهد. بينما يمكن استخدام مثل هذا التمثيل مباشرة لأداء التجزئة الدلالية، لا تستطيع الطرق الموجودة فصل حالات العناصر المتعددة. في هذا العمل، نعالج هذه الحدود ونقترح OpenMask3D، وهي طريقة صفرية (zero-shot) للتجزئة الشاملة للعناصر ثلاثية الأبعاد. بقيادة أقنعة العناصر ثلاثية الأبعاد غير المرتبطة بالفئة (class-agnostic 3D instance masks) التي يتم التنبؤ بها، يجمع نموذجنا الخصائص لكل قناع عبر دمج متعدد الآراء للمضمنات الصورية المستندة إلى CLIP. تظهر التجارب والدراسات الاستقصائية على ScanNet200 وReplica أن OpenMask3D تتفوق على الطرق الأخرى الشاملة، خاصةً بالنسبة للتوزيع ذي الذيل الطويل (long-tail distribution). كما تبرز التجارب النوعية أيضًا قدرة OpenMask3D على تقسيم خصائص العناصر بناءً على استعلامات حرة تصف الهندسة والقدرات والمادة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp