HyperAIHyperAI

Command Palette

Search for a command to run...

تعلم الوكيلات الوظيفية وتجزئة الرموز الطيفية في المحولات للتعلم القليل

Yangji He Weihan Liang Dongyang Zhao Hong-Yu Zhou Weifeng Ge Yizhou Yu Wenqiang Zhang

الملخص

تقدم هذه الورقة نماذج تحويلية هرمية متسلسلة جديدة يمكنها تحسين كفاءة البيانات من خلال تعلم الاستبدالات السطحية وجمع الرموز الطيفية. يُنظر حديثًا إلى نماذج التحويل البصري (Vision Transformers) على أنها بديل واعد لشبكات التعلم العميق التلافيفية (Convolutional Neural Networks) في التعرف البصري. لكن عند عدم توفر كمية كافية من البيانات، تُعاني هذه النماذج من التكيف الزائد (overfitting) وتُظهر أداءً متواضعًا. ولتحسين كفاءة استخدام البيانات، نقترح نماذج تحويلية هرمية متسلسلة تقوم باستغلال البنية الداخلية للصورة من خلال تقنية جمع الرموز الطيفية، وتحسن المعاملات القابلة للتعلم من خلال تعلم استبدالات السمات المخفية. تُستخدم البنية الداخلية للصورة لتقليل الغموض بين المحتوى المركزي (الخلفية الأمامية) والضوضاء الخلفية من خلال جمع الرموز الطيفية. كما تم تصميم نموذج تعلم الاستبدالات السطحية للاستفادة من المعلومات البصرية الغنية الموجودة في أزواج الصورة-الوسم، بدلًا من الاعتماد على مفاهيم بصرية بسيطة تُعيّن بواسطة الوسوم. تم بناء نماذجنا الهرمية المتسلسلة، المعروفة باسم HCTransformers، على إطار تعلم ذاتي (self-supervised learning) يُدعى DINO، وتم اختبارها على عدة معايير شائعة لتعلم القليل من الأمثلة (few-shot learning benchmarks).في البيئة الاستنتاجية (inductive setting)، تتفوق HCTransformers على النموذج الأساسي DINO بنسبة 9.7% في دقة التصنيف 5-طريقة 1-مثال (5-way 1-shot) وبنسبة 9.17% في دقة التصنيف 5-طريقة 5-أمثلة (5-way 5-shot) على مجموعة بيانات miniImageNet، مما يدل على كفاءة HCTransformers في استخلاص سمات تمييزية فعّالة. كما تُظهر HCTransformers ميزة واضحة مقارنة بأفضل الطرق الحالية في تصنيف القليل من الأمثلة في كلا الحالتين: 5-طريقة 1-مثال و5-طريقة 5-أمثلة، على أربع مجموعات بيانات شائعة، تشمل miniImageNet وtieredImageNet وFC100 وCIFAR-FS. تم إتاحة الأوزان المدربة والكود المصدر على الرابط التالي: https://github.com/StomachCold/HCTransformers.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp