QTRAN: تعلم التحليل باستخدام التحويل للتعلم التعزيزي التعاوني بين الوكلاء المتعددين

نستكشف حلول قائمة على القيمة لمهام التعلم التعزيزي متعدد الوكلاء (MARL) في نظام التدريب المركزي مع التنفيذ اللامركزي (CTDE) الذي اكتسب شعبية مؤخرًا. ومع ذلك، تعتبر VDN و QMIX أمثلة بارزة تستخدم فكرة تحليل دالة قيمة العمل المشترك إلى دوال فردية للتنفيذ اللامركزي. تتعامل VDN و QMIX فقط مع جزء من مهام MARL القابلة للتحليل بسبب قيودها الهيكلية في التحليل مثل الإضافة والتكافؤ. في هذا البحث، نقترح طريقة تحليل جديدة لـ MARL، وهي QTRAN، والتي تكون خالية من هذه القيود الهيكلية وتتبع نهجًا جديدًا لتحويل الدالة الأصلية لقيمة العمل المشترك إلى دالة يمكن تحليلها بسهولة، مع الحفاظ على نفس الأعمال المثلى. يضمن QTRAN تحليلًا أكثر عمومية من VDN أو QMIX، وبالتالي يغطي فئة أوسع بكثير من مهام MARL مقارنة بالطرق السابقة. أظهرت تجاربنا في مهام الضغط الغاوسي متعدد المجالات والفرائس المعدلة أداءً أفضل لـ QTRAN، خاصة في الألعاب التي تعاقب السلوك غير التعاوني بشكل أكثر حدة.