تعلم الديناميات الكامنة للتخطيط من البكسل

تمت الإشارة إلى أن التخطيط كان ناجحًا جدًا في مهام التحكم عندما تكون ديناميكيات البيئة معروفة. للاستفادة من التخطيط في بيئات غير معروفة، يجب على الوكيل (الوكيل الذكي) تعلم الديناميكيات من خلال التفاعلات مع العالم. ومع ذلك، فإن تعلم نماذج الديناميكيات الدقيقة بما يكفي للتخطيط ظل تحديًا مستمرًا، خاصة في المجالات المستندة إلى الصور. نقترح استخدام الشبكة العصبية العميقة للتخطيط (Deep Planning Network - PlaNet)، وهي وكيلة قائمة تمامًا على النموذج والتي تتعلم ديناميكيات البيئة من الصور وتحدد الأفعال من خلال التخطيط السريع عبر الإنترنت في الفضاء الكامن. لتحقيق أداء عالي، يجب على نموذج الديناميكيات أن يتنبأ بدقة بالجوائز المستقبلية لعدة خطوات زمنية. نحن نتناول هذا باستخدام نموذج ديناميكي كامن يتضمن مكونات انتقال حتمية وعشوائية. بالإضافة إلى ذلك، نقترح هدف استدلال متغير متعدد الخطوات سميناه الاستشراف الكامن (latent overshooting). باستخدام الملاحظات البكسلية فقط، يتمكن وكيلنا من حل مهام التحكم المستمرة التي تتضمن ديناميكيات الاحتكاك، والملاحظة الجزئية، والجوائز النادرة، والتي تتجاوز صعوبة المهام التي تم حلها سابقًا بالتخطيط باستخدام النماذج المُتعلَّمة. يستخدم PlaNet عددًا أقل بكثير من الحلقات ويصل إلى أداء نهائي قريب من وأحيانًا أعلى من خوارزميات بدون نموذج قوية.