التعلم والخطة في الفضاءات الإجرائية المعقدة

تتميز العديد من المشكلات الواقعية الهامة بمساحات عمل عالية الأبعاد أو مستمرة أو كليهما معًا، مما يجعل من المستحيل عمليًا تعداد جميع الأعمال الممكنة. بدلًا من ذلك، يمكن فقط استخلاص مجموعة صغيرة من الأعمال لغرض تقييم السياسة وتحسينها. في هذه الورقة، نقترح إطارًا عامًا للتفكير بطريقة منهجية في تقييم وتحسين السياسة على مجموعات أعمال مُستخرجة عشوائيًا. يمكن تطبيق هذا الإطار القائم على العينات للتحديث السياسي نظريًا على أي خوارزمية تعلم التعلم التعزيزي المستندة إلى التكرار السياسي. بشكل ملموس، نقترح "موزا زيرو المُستخرجة عشوائيًا" (Sampled MuZero)، وهو امتداد لخوارزمية موزا زيرو قادر على التعلم في البيئات ذات مساحات عمل معقدة بشكل غير محدود من خلال التخطيط على الأعمال المستخرجة عشوائيًا. ونُظهر فعالية هذا النهج على اللعبة الكلاسيكية "غوي" (Go)، وكذلك على حالتين معياريتين للتحكم المستمر: "مجموعة تحكم ديب مايند" (DeepMind Control Suite) و"مجموعة التعلم في العالم الحقيقي" (Real-World RL Suite).