فكّك مصادر المخاطر لتعلم التقويم التكاملي التوزيعي متعدد الوكلاء

في التعلم القوي متعدد الوكلاء التعاوني، يمكن أن تؤدي انتقالات الحالة، والحوافز، والإجراءات إلى إدخال عشوائية (أو عدم يقين) في العوائد طويلة الأجل الملاحظة. تعكس هذه العشوائية مصدرين للخطر: (أ) الخطر من منظور الوكيل (أي إلى أي مدى يكون زملاؤنا التعاونيون متعاونين بالنسبة لوكيل معين)، و(ب) الخطر من منظور البيئة (أي التشتت في الانتقالات). وعلى الرغم من أن هذين المصدرَين كلاهما عاملان مهمان لتعلم سياسات قوية للوكلاء، إلا أن الدراسات السابقة لم تفصل بينهما أو تعامل مع مصدر خطر واحد فقط، مما قد يؤدي إلى توازنات غير مثالية. في هذه الورقة، نقترح إطارًا جديدًا يُسمى DRIMA (التعلم القوي متعدد الوكلاء المُفصَّل حسب المخاطر)، وهو قادر على فصل مصادر المخاطر. تكمن الفكرة الرئيسية في فصل عوامل مستوى المخاطر (أي الكوانتيلات) أثناء التدريب المركزي والتنفيذ اللامركزي باستخدام بنية كوانتيل هيراركية وانحدار الكوانتيل. تُظهر تجاربنا أن DRIMA يتفوق بشكل كبير على الطرق السابقة في مختلف السيناريوهات ضمن تحدي الوكلاء المتعددين في لعبة StarCraft. وبشكل لافت، تُظهر DRIMA أداءً قويًا ومستقرًا بغض النظر عن تشكيل الحوافز أو جدول الاستكشاف، بينما تتعلم الطرق السابقة سياسة غير مثالية فقط.