HyperAIHyperAI

Command Palette

Search for a command to run...

3D-JEPA: هندسة تنبؤية مشتركة للتمثيل الذاتي غير المشرف في الأبعاد الثلاثة

Naiwen Hu Haozhe Cheng Yifan Xie Shiqi Li Jihua Zhu*

الملخص

أظهرت الطرق المستندة إلى الثبات والطريقة التوليدية أداءً ملحوظًا في تعلم التمثيل الذاتي غير المشرف (SSRL) ثلاثي الأبعاد. ومع ذلك، تعتمد الطريقة الأولى على تحسينات بيانات يدوية الصنع تُدخل تحيزًا ليس مناسبًا لجميع المهام اللاحقة، بينما تقوم الثانية بإعادة بناء المناطق المخفية دون تمييز، مما يؤدي إلى حفظ تفاصيل غير ذات صلة في فضاء التمثيل. لحل هذه المشكلة، نقدم 3D-JEPA، وهو إطار جديد لتعلم التمثيل الذاتي غير المشرف ثلاثي الأبعاد وغير التوليدي. بصفة خاصة، نقترح استراتيجية عينة متعددة الكتل التي تنتج كتلة سياق كافية المعلومات وعددًا من الكتل الهدف التمثيلية. نقدم أيضًا مفكك السياق لتعزيز إعادة بناء الكتل الهدف. بشكل ملموس، يتم تقديم المعلومات السياقية إلى المفكك بشكل مستمر، مما يسهل على المشفر تعلم النمذجة الدلالية بدلاً من حفظ المعلومات السياقية المتعلقة بالكتل الهدف. بشكل عام، يقوم 3D-JEPA بتوقع تمثيل الكتل الهدف من كتلة سياق باستخدام هندسة المشفر ومفكك السياق. أثبتت العديد من المهام اللاحقة على مجموعات بيانات مختلفة فعالية وكفاءة 3D-JEPA، حيث حققت دقة أعلى مع عدد أقل من دورات التدريب الأولي، مثل دقة 88.65% على PB_T50_RS مع 150 دورة تدريب أولي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
3D-JEPA: هندسة تنبؤية مشتركة للتمثيل الذاتي غير المشرف في الأبعاد الثلاثة | مستندات | HyperAI