3D-JEPA: هندسة تنبؤية مشتركة للتمثيل الذاتي غير المشرف في الأبعاد الثلاثة

أظهرت الطرق المستندة إلى الثبات والطريقة التوليدية أداءً ملحوظًا في تعلم التمثيل الذاتي غير المشرف (SSRL) ثلاثي الأبعاد. ومع ذلك، تعتمد الطريقة الأولى على تحسينات بيانات يدوية الصنع تُدخل تحيزًا ليس مناسبًا لجميع المهام اللاحقة، بينما تقوم الثانية بإعادة بناء المناطق المخفية دون تمييز، مما يؤدي إلى حفظ تفاصيل غير ذات صلة في فضاء التمثيل. لحل هذه المشكلة، نقدم 3D-JEPA، وهو إطار جديد لتعلم التمثيل الذاتي غير المشرف ثلاثي الأبعاد وغير التوليدي. بصفة خاصة، نقترح استراتيجية عينة متعددة الكتل التي تنتج كتلة سياق كافية المعلومات وعددًا من الكتل الهدف التمثيلية. نقدم أيضًا مفكك السياق لتعزيز إعادة بناء الكتل الهدف. بشكل ملموس، يتم تقديم المعلومات السياقية إلى المفكك بشكل مستمر، مما يسهل على المشفر تعلم النمذجة الدلالية بدلاً من حفظ المعلومات السياقية المتعلقة بالكتل الهدف. بشكل عام، يقوم 3D-JEPA بتوقع تمثيل الكتل الهدف من كتلة سياق باستخدام هندسة المشفر ومفكك السياق. أثبتت العديد من المهام اللاحقة على مجموعات بيانات مختلفة فعالية وكفاءة 3D-JEPA، حيث حققت دقة أعلى مع عدد أقل من دورات التدريب الأولي، مثل دقة 88.65% على PB_T50_RS مع 150 دورة تدريب أولي.