الماكينات التلقائية المقنعة لتعلم الذاتي للسحابات النقطية

كخيار واعد في مجال التعلم الذاتي بدون إشراف، أثبتت ترميز الأوتوكودر المقنّع (masked autoencoding) تقدماً كبيراً في معالجة اللغة الطبيعية ورؤية الحاسوب. مستوحاة من هذا النجاح، نقترح خياراً مباشراً لترميز الأوتوكودر المقنّعة للتعلم الذاتي بدون إشراف على السحابة النقطية (point cloud)، مما يواجه التحديات التي تفرضها خصائص السحابة النقطية، بما في ذلك تسرب معلومات الموقع وكثافة المعلومات غير المتساوية. بشكل محدد، نقسم السحابة النقطية الإدخالية إلى بقع نقطية غير منتظمة ونقنّعها عشوائيًا بنسب عالية. ثم، يستخدم أوتوكودر قائم على الـ Transformer التقليدي، بتصميم غير متماثل وعملية تحويل رموز القناع (shifting mask tokens operation)، لتعلم الخصائص الكامنة ذات المستوى العالي من البقع النقطية غير المقنّعة، بهدف إعادة بناء البقع النقطية المقنّعة. تظهر التجارب الواسعة أن نهجنا فعال أثناء التدريب الأولي ويتميز بالعمومية الجيدة في مجموعة متنوعة من المهام الثانوية. بشكل خاص، حققت نماذجنا المدربة مسبقًا دقة بنسبة 85.18٪ على ScanObjectNN و94.04٪ على ModelNet40، مما يتفوق على جميع طرق التعلم الذاتي بدون إشراف الأخرى. نوضح أنه باستخدام نظامنا، يمكن لنظام بسيط تماماً يقوم على الـ Transformers التقليدية أن يتخطى نماذج الـ Transformer المتخصصة من التعلم بالإشراف. كما أن نهجنا يعزز الدقة الرائدة بمقدار 1.5٪-2.3٪ في تصنيف الأجسام بأمثلة قليلة (few-shot object classification). بالإضافة إلى ذلك، فإن عملنا يلهم إمكانية تطبيق هياكل موحدة من اللغات والصور على السحابة النقطية.