HyperAIHyperAI

Command Palette

Search for a command to run...

مجموعة المتوسطات: تحسين اختيار النموذج وتعزيز الأداء في التعميم النطاقي

Devansh Arpit Huan Wang Yingbo Zhou Caiming Xiong

الملخص

في بيئات التعميم عبر المجالات (Domain Generalization - DG)، تُظهر النماذج التي تم تدريبها بشكل مستقل على مجموعة معينة من المجالات تدريبًا أداءً فوضويًا جدًا على المجالات الاختبارية التي تشهد تغيرًا في التوزيع، ويلعب التRANDOMية في عملية التحسين (مثل اختيار البذور العشوائية) دورًا كبيرًا في هذا السلوك. هذا يجعل نماذج التعلم العميق غير موثوقة في البيئات الواقعية. نُظهر أولًا أن هذا السلوك الفوضوي يظهر حتى على طول مسار التحسين التدريبي لنموذج واحد، ونُقترح بروتوكولًا بسيطًا لتوسط النماذج (model averaging) يُحسّن بشكل كبير من قدرة التعميم عبر المجالات ويقلل من تأثير التRANDOMية من خلال تحسين الارتباط التصاعدي (rank correlation) بين دقة التحقق داخل المجال (in-domain validation accuracy) ودقة الاختبار خارج المجال (out-domain test accuracy)، وهو ما يُعد أمرًا حاسمًا لتحقيق توقف مبكر موثوق. وباستغلال ملاحظاتنا، نُظهر أنه بدلًا من تجميع النماذج غير المُتوسطة (التي تُعتبر الممارسة الشائعة في الواقع)، فإن تجميع النماذج المتوسطة المتحركة (Moving Average Models) المستمدة من محاولات تدريب مستقلة يُعزز الأداء بشكل أكبر. ونُقدّم شرحًا نظريًا لزيادة الأداء الناتجة عن التجميع والتوسط النموذجي من خلال تكييف مبدأ التنازل بين التحيّز والانحراف (Bias-Variance trade-off) المعروف إلى سياق التعميم عبر المجالات. على معيار DomainBed، وباستخدام نموذج ResNet-50 المُدرّب مسبقًا، يحقق هذا التجميع المتوسط متوسط دقة قدره 68.0٪، ما يتفوق على نموذج ERM القياسي (بدون توسط أو تجميع) بنسبة تقارب 4٪، وعند استخدام نموذج RegNetY-16GF المُدرّب مسبقًا، يُسجّل متوسط دقة قدره 76.6٪، ما يتفوق على ERM القياسي بنسبة 6٪. يُمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/salesforce/ensemble-of-averages.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
مجموعة المتوسطات: تحسين اختيار النموذج وتعزيز الأداء في التعميم النطاقي | مستندات | HyperAI