تعظيم المخاطر التجريبية للاستدلال العشوائي المحدب: حدود مخاطرة من نوع $O(1/n)$ و $O(1/n^2)$

رغم وجود العديد من النظريات حول تقليل المخاطر التجريبية (ERM) في التعلم الإشرافي، فإن الفهم النظري الحالي لتقليل المخاطر التجريبية في مشكلة متعلقة وهي الأمثلة العشوائية المحدبة (SCO) ما زال محدودًا. في هذا البحث، نعزز نطاق تطبيق ERM في SCO من خلال استغلال شروط الانسيابية والحدبية القوية لتحسين حدود المخاطر. أولاً، نثبت حدًا للمخاطر يبلغ $\widetilde{O}(d/n + \sqrt{F_/n})$ عندما تكون الدالة العشوائية غير سالبة ومحدبة وانسيابة، والدالة المتوقعة متصلة بليبسشيتز، حيث $d$ هي البعدية للمشكلة، $n$ هو عدد العينات، و$F_$ هي أقل قيمة للمخاطرة. وبالتالي، عندما تكون $F_*$ صغيرة، نحصل على حد مخاطرة يبلغ $\widetilde{O}(d/n)$، وهو مشابه لمعدل التفاؤل $\widetilde{O}(1/n)$ لـ ERM في التعلم الإشرافي.ثانيًا، إذا كانت الدالة الهدف أيضًا محدبة قوية بمقدار $λ$-strongly convex (محدبة قوية بمقدار λ)، فنثبت حدًا للمخاطر يبلغ $\widetilde{O}(d/n + κF_/n)$ حيث $κ$ هو رقم الشرط (condition number)، ونحسن هذا الحد إلى $O(1/[λn^2] + κF_/n)$ عندما يكون $n = \widetildeΩ(κd)$. نتيجة لذلك، نحصل على حد مخاطرة يبلغ $O(κ/n^2)$ تحت شرط أن يكون $n$ كبيرًا وأن تكون $F_*$ صغيرة، وهو حسب علمنا أفضل حد من نوع $O(1/n^2)$ لـ ERM.ثالثًا، نؤكد أن هذه النتائج قد تم إثباتها ضمن إطار موحد يمكننا من اشتقاق حدود مخاطرة جديدة تحت شروط أضعف، مثل عدم الحاجة إلى حدبية الدالة العشوائية أو استمرارية بليبسشيتز للدالة المتوقعة. أخيرًا، نوضح أنه لتحقيق حد مخاطرة يبلغ $O(1/[λn^2] + κF_*/n)$ في التعلم الإشرافي، يمكن استبدال شرط $\widetildeΩ(κd)$ على $n$ بشرط $Ω(κ^2)$ الذي لا يعتمد على البعدية.