HyperAIHyperAI

Command Palette

Search for a command to run...

التعلم ذو الذيل الطويل باستخدام النموذج الأساسي: التحسين الدقيق الشديد يضر

Jiang-Xin Shi; Tong Wei; Zhi Zhou; Jie-Jing Shao; Xin-Yan Han; Yu-Feng Li

الملخص

لقد أثارت نموذجية التعديل الدقيق (fine-tuning) في معالجة مهام التعلم ذي الذيل الطويل اهتمامًا كبيرًا منذ ظهور النماذج الأساسية (foundation models). ومع ذلك، لم يتم تقدير تأثير التعديل الدقيق على الأداء في التعلم ذي الذيل الطويل بشكل صريح. في هذا البحث، نكشف أن التعديل الدقيق الشديد قد يؤدي حتى إلى تدهور غير قليل في الأداء بالنسبة للتصنيفات الثانوية (tail classes)، وأن التعديل الدقيق الخفيف أكثر فعالية. يُعزى السبب إلى الظروف غير المتسقة للتصنيفات التي تنتج عن التعديل الدقيق الشديد. بناءً على هذه الملاحظة، طوّرنا خوارزميات التعلم ذي الذيل الطويل ذات التعقيد المنخفض والدقة العالية LIFT بهدف تسهيل التنبؤ السريع والنماذج المدمجة من خلال التعديل الدقيق الخفيف التكيفي. تؤكد التجارب بوضوح أن وقت التدريب والمعلمات المُتعلمة تم تقليلها بشكل كبير مع أداء تنبؤي أكثر دقة مقارنة بالأساليب الرائدة حاليًا. يمكن الحصول على كود التنفيذ من https://github.com/shijxcs/LIFT.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp