PointGPT: التدريب التوليدي التلقائي من السحب النقطية

النماذج اللغوية الكبيرة (LLMs) المستندة إلى مولد التدريب المسبق للمتحول (GPT) أظهرت فعالية ملحوظة في مجموعة متنوعة من المهام الثانوية. مستوحاة من التقدم الذي حققه GPT، نقدم PointGPT، وهو نهج جديد يوسع مفهوم GPT ليشمل السحب النقطية، معالجة التحديات المرتبطة بخصائص الفوضى، وكثافة المعلومات المنخفضة، وفجوات المهام. تحديدًا، تم اقتراح مهمة توليد تلقائي للسحب النقطية لتدريب نماذج المتحول. طريقتنا تقسم السحب النقطية المدخلة إلى نقاط متعددة وترتبها في تسلسل مرتب بناءً على قربها المكاني. بعد ذلك، يتعلم محول فك الشفرة القائم على الاستخراج والتوليد، باستخدام استراتيجية التعتيم الثنائية، التمثيلات الضمنية المشروطة بالنقاط السابقة، بهدف التنبؤ بالنقطة التالية بطريقة توليدية تلقائية. يتيح نهجنا القابل للتوسع تعلم نماذج ذات سعة عالية تعمم بشكل جيد، مما يجعله يحقق أفضل الأداء في مجموعة متنوعة من المهام الثانوية. بشكل خاص، حققت طريقتنا دقة تصنيف بلغت 94.9٪ على مجموعة بيانات ModelNet40 و93.4٪ على مجموعة بيانات ScanObjectNN، مما يجعلها تتفوق على جميع نماذج المتحول الأخرى. علاوة على ذلك، حققت طريقتنا أيضًا دقة جديدة هي الأفضل في جميع مقاييس التعلم من أمثلة قليلة الأربعة.