مقارنة وإعادة بناء: تعلم التمثيل ثلاثي الأبعاد الموجه بواسطة التدريب التوليدي الأولي

تُبنى النُّهُج الرئيسية لتعلم التمثيل ثلاثي الأبعاد على مهام نموذجية تضادّية أو توليدية، حيث تم تحقيق تحسينات كبيرة في الأداء على مهام مختلفة لاحقة. ومع ذلك، نجد أن هذين النموذجين لهما خصائص مختلفة: (i) النماذج التضادّية تعاني من مشكلة الجوع إلى البيانات التي تؤدي إلى تناسب زائد للتمثيل؛ (ii) النماذج التوليدية تعاني من مشكلة ملء البيانات التي تظهر قدرة أقل على توسيع نطاق البيانات مقارنة بالنماذج التضادّية. هذا يحثنا على تعلم التمثيلات ثلاثية الأبعاد من خلال تقاسم فوائد كلا النموذجين، وهو أمر ليس بسهل بسبب الاختلاف في الأنماط بينهما. في هذه الورقة البحثية، نقترح "التضاد مع إعادة الإنشاء" (ReCon)، الذي يوحِّد هذين النموذجين. يتم تدريب ReCon على التعلم من معلمي النمذجة التوليدية ومعلمي التضاد المنفرد والمتعدد الوسائط من خلال التقطير المجمَّع، حيث يرشد الطالب التوليدي الطالب التضادي. تم اقتراح كتلة ReCon بنمط المشفِّر-المفكِّك التي تقوم بنقل المعرفة عبر الانتباه المتداخل مع إيقاف الانتشار العكسي، مما يتجنب مشكلتي التناسب الزائد للتدريب الأولي واختلاف الأنماط. حقق ReCon مستوى جديدًا من الحالة الفنية في تعلم التمثيل ثلاثي الأبعاد، مثل دقة 91.26% على ScanObjectNN. تم إطلاق الرموز البرمجية في https://github.com/qizekun/ReCon.