HyperAIHyperAI

Command Palette

Search for a command to run...

التركيبات العميقة لتعلم النقل منخفض البيانات

Basil Mustafa Carlos Riquelme Joan Puigcerver André Susano Pinto Daniel Keysers Neil Houlsby

الملخص

في البيئة ذات البيانات المنخفضة، يصعب تدريب نماذج مراقبة جيدة من الصفر. بدلًا من ذلك، يلجأ الممارسين إلى النماذج المُدرَّبة مسبقًا، مستفيدين من التعلم الناقل. يُعدّ التجميع (Ensembling) طريقةً جذابة من الناحية التجريبية والنظرية لبناء نماذج تنبؤية قوية، لكن النهج السائد المتمثل في تدريب شبكات عميقة متعددة بقيم بدائية عشوائية يتعارض مع الحاجة إلى التعلم الناقل عبر أوزان مُدرَّبة مسبقًا. في هذا العمل، ندرس طرقًا مختلفة لبناء تجميعات من النماذج المُدرَّبة مسبقًا. نُظهر أن طبيعة التدريب المسبق نفسها تمثل مصدرًا فعّالًا للتنوع، ونُقدّم خوارزمية عملية تُمكّن من تحديد مجموعة فرعية من النماذج المُدرَّبة مسبقًا لكل مجموعة بيانات تطبيقية. يتمثل النهج ببساطة في استخدام دقة الجيران الأقرب (Nearest-Neighbour Accuracy) لتصنيف النماذج المُدرَّبة مسبقًا، ثم تدريب النماذج الأفضل بدقة باستخدام مسح صغير للبارامترات، وبناء التجميع بشكل طموح (Greedily) لتقليل التباعد الصنفِي في مجموعة التحقق. عند تقييمه مقابل قواعد معيارية قوية على 19 مهمة تطبيقية مختلفة (مُعيار تكييف المهام البصرية)، يحقق هذا النهج أداءً من الدرجة الأولى (state-of-the-art) بموازنة استهلاك استدلال أقل بكثير، حتى عند الاختيار من أكثر من 2000 نموذج مُدرَّب مسبقًا. كما قُمنا بتقييم تجميعاتنا على نُسخ من ImageNet، ووجدنا تحسنًا في المقاومة لانزياح التوزيع (robustness to distribution shift).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التركيبات العميقة لتعلم النقل منخفض البيانات | مستندات | HyperAI