التحليل الدلالي ثلاثي الأبعاد للداخلية المرتبط باللغة في البيئات الطبيعية

أظهرت التطورات الحديثة في التصنيف الشمولي ثلاثي الأبعاد باستخدام الشبكات العصبية العميقة نجاحًا ملحوظًا، مع زيادة سريعة في الأداء على المجموعات المتاحة من البيانات. ومع ذلك، تحتوي المعايير الحالية للتصنيف الشمولي ثلاثي الأبعاد على عدد قليل جدًا من الفئات — أقل من 30 فئة على سبيل المثال في مجموعتي بيانات ScanNet وSemanticKITTI — وهو ما لا يكفي ليعكس تنوع البيئات الحقيقية (مثلما تغطي فهم الصور الشمولية مئات إلى آلاف الفئات). لذلك، نقترح دراسة مفردات أكبر للتصنيف الشمولي ثلاثي الأبعاد من خلال معيار مُوسّع جديد على بيانات ScanNet يضم 200 فئة، أي بعشرة أضعاف عدد الفئات التي تم دراستها سابقًا. كما أن هذا العدد الكبير من الفئات يؤدي إلى عدم توازن طبيعي كبير بين الفئات، وهما تحديان كبيران أمام الطرق الحالية للتصنيف الشمولي ثلاثي الأبعاد. ولتمكين تعلم ميزات ثلاثية الأبعاد أكثر قوة في هذا السياق، نقترح طريقة تدريب مُسبق تُوجه باللغة، تُشجع على أن تقع الميزات ثلاثية الأبعاد المُتعلّمة، حتى في الحالات التي تتوفر فيها أمثلة تدريب محدودة، بالقرب من تضمينات النص المُدرّبة مسبقًا لها. تُظهر التجارب الواسعة أن منهجنا يتفوق باستمرار على أحدث الطرق في التدريب المسبق ثلاثي الأبعاد للتصنيف الشمولي ثلاثي الأبعاد على المعيار المقترح (+9% في mIoU النسبية)، بما في ذلك السيناريوهات ذات البيانات المحدودة مع تحسن بنسبة +25% في mIoU النسبية باستخدام فقط 5% من التسميات.