HyperAIHyperAI
منذ 17 أيام

التعميم خارج التوزيع من خلال الاستخلاص المخاطر (REx)

David Krueger, Ethan Caballero, Joern-Henrik Jacobsen, Amy Zhang, Jonathan Binas, Dinghuai Zhang, Remi Le Priol, Aaron Courville
التعميم خارج التوزيع من خلال الاستخلاص المخاطر (REx)
الملخص

الانزياح التوزيعي يُعد أحد العوائق الرئيسية عند نقل أنظمة التنبؤ بالذكاء الاصطناعي من البيئة المختبرية إلى العالم الحقيقي. وللتعامل مع هذه المشكلة، نفترض أن التباين بين المجالات التدريبية يمثل التباين الذي قد نجده في وقت الاختبار، ولكننا أيضًا نفترض أن الانزياحات في وقت الاختبار قد تكون أشد حدة من حيث الحجم. وبشكل خاص، نُظهر أن تقليل الفروق في المخاطر بين المجالات التدريبية يمكن أن يقلل من حساسية النموذج تجاه مجموعة واسعة من الانزياحات التوزيعية القصوى، بما في ذلك الحالة الصعبة التي يحتوي فيها المدخل على عناصر سببية وعكس سببية معًا. ونُبرر هذا النهج، المُسمى "استخلاص المخاطر" (Risk Extrapolation أو REx)، كشكل من أشكال التحسين المقاوم ضمن مجموعة من المجالات المُستَمَدة (MM-REx)، ونُقترح عقوبة مبنية على تباين المخاطر في التدريب (V-REx) كنسخة أبسط. ونُثبت أن نسخ REx قادرة على استعادة الآليات السببية للهدف، مع توفير درجة معينة من المقاومة للتغيرات في التوزيع المدخل (المعروفة بـ "انزياح المُتغيرات" أو covariate shift). وباستخدام توازن مناسب بين المقاومة للانزياحات التوزيعية الناتجة عن العلاقات السببية، ومقاومة انزياح المُتغيرات، يُمكن لـ REx تفوق الطرق البديلة مثل تقليل المخاطر الثابتة (Invariant Risk Minimization) في السياقات التي تحدث فيها هاتان النوعان من الانزياحات معًا.