DNA: تحسين السياسة القريبة مع بنية شبكة مزدوجة

يستعرض هذا البحث مشكلة التعلم المتزامن لوظيفة القيمة والسياسة في نماذج التعلم القوي العميقة من نوع المُدرِّب-المُقيِّم (deep actor-critic). نجد أن الممارسة الشائعة في تعلم هاتين الوظيفتين معًا تكون غير مثلى، وذلك بسبب الفرق الهائل في مستويات الضجيج بين هاتين المهمتين. بدلًا من ذلك، نُظهر أن التعلم المستقل لهاتين المهمتين، ولكن بمرحلة تجميع مقيدة (constrained distillation phase)، يُحسّن الأداء بشكل كبير. علاوةً على ذلك، نكتشف أن مستويات ضجيج تدرج السياسة يمكن تقليلها باستخدام تقدير أدنى للانحراف المعياري (variance) للعائد، في حين أن مستوى ضجيج تعلم القيمة يتناقص مع استخدام تقدير أقل للانحياز (bias). تُوجِّه هذه الرؤى إلى توسعة لخوارزمية التحسين القريب للسياسة (Proximal Policy Optimization) تُسمى بنية الشبكة المزدوجة (Dual Network Architecture - DNA)، والتي تتفوّق بشكل ملحوظ على النسخة السابقة لها. كما تتفوّق DNA في الأداء على خوارزمية Rainbow DQN الشهيرة في أربعة من أصل خمسة بيئات اختبار، حتى في ظل ظروف تحكم عشوائية أكثر صعوبة.