إطار موحد لتحليل دوال القيمة التوزيعية للتعلم التعزيزي متعدد الوكلاء

في بيئات التعلم القائم على التقييم المتعدد الوكلاء بالتعاون الكامل (MARL)، تكون البيئات عالية التقلبات بسبب الملاحظة الجزئية لكل وكيل، بالإضافة إلى التغير المستمر في سياسات الوكلاء الآخرين. ولحل هذه المشكلات، اقترحنا إطارًا موحدًا يُسمى DFAC، يهدف إلى دمج التعلم التوزيعي (Distributional RL) مع طرق تحليل دالة القيمة (Value Function Factorization). يعمم هذا الإطار طرق تحليل دالة القيمة القائمة على القيم المتوقعة، مما يمكّن من تحليل توزيعات العوائد. ولإثبات فعالية DFAC، قمنا أولًا بعرض قدرته على تحليل دوال القيمة في لعبة مصفوفة بسيطة ذات مكافآت عشوائية. ثم أجرينا تجارب على جميع الخرائط من الفئة "سوبر هارد" ضمن تحدي ستار كرافت للوكلاء المتعددين، بالإضافة إلى ست خرائط مصممة خصيصًا من الفئة "أوبرا هارد"، حيث أظهرت النتائج أن DFAC يتفوق على عدد من النماذج الأساسية (baselines).