HyperAIHyperAI

Command Palette

Search for a command to run...

مُعَمِّلات الترميز التلقائية ذات التوجيه الذاتي للتعلُّم التلقائي غير المُوجه حسب المجال

Johnathan Xie Yoonho Lee Annie S. Chen Chelsea Finn

الملخص

تُظهر التعلم ذاتي التوجيه (Self-supervised learning) كفاءة عالية في تعلم التمثيلات من كميات كبيرة من البيانات غير المُصنفة، وقد أثبتت نجاحها عبر العديد من أنواع البيانات. ومع ذلك، فإن توسيع نطاق التعلم ذاتي التوجيه لتشمل مجالات جديدة ليس أمرًا سهلاً، نظرًا لأن التفاصيل الخاصة بالأساليب الحالية مصممة خصيصًا لكل مجال، مثل التحويلات المخصصة للمجالات التي تعكس التماثل في المهمة المستهدفة. وعلى الرغم من أن النمذجة المُقنعة (masked modeling) تُعد واعدًا كإطار عام غير مرتبط بالمجال للتعلم ذاتي التوجيه، لأنها لا تعتمد على التحويلات المدخلة، إلا أن إجراء اختيار الأقنعة (mask sampling) لا يزال يعتمد على المجال. نقدم هنا نموذج "النماذج التلقائية المُقنعة ذاتية التوجيه" (Self-guided Masked Autoencoders، أو SMA)، وهو طريقة متكاملة للنمذجة المُقنعة لا تعتمد على المجال. يُدرّب SMA نموذجًا يستند إلى الانتباه باستخدام هدف النمذجة المُقنعة، من خلال تعلُّم كيفية اختيار الأقنعة دون أي افتراضات مخصصة للمجال. وقد تم تقييم SMA على ثلاث بenchmarkات للتعلم ذاتي التوجيه في مجالات بيولوجيا البروتينات، وتوقع الخصائص الكيميائية، وفيزياء الجسيمات. وتبين أن SMA قادرة على تعلم التمثيلات دون الحاجة إلى معرفة محددة بال مجال، وتحقق أداءً متميزًا على مستوى الحد الأقصى في هذه الثلاثة بenchmarkات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
مُعَمِّلات الترميز التلقائية ذات التوجيه الذاتي للتعلُّم التلقائي غير المُوجه حسب المجال | مستندات | HyperAI