نماذج عالم أصغر للتعلم القوي

تظل الكفاءة في الاستخدام النموذجي مشكلة أساسية في التعلم التعزيزي. تحاول الخوارزميات القائمة على النماذج الاستفادة الأفضل من البيانات من خلال محاكاة البيئة باستخدام نموذج. نقترح معمارية جديدة لشبكات العالم تعتمد على مُشفّر تلقائي متغير مُقسّم متجهيًا (VQ-VAE) لترميز الملاحظات، واستخدام LSTM متعدد التوصيل للتنبؤ بمؤشرات التضمين التالية. يتم تدريب وكيل PPO غير القائم على النموذج باستخدام تجربة محاكاة حصريًا من نموذج العالم. نستخدم الإعداد المقدّم من كايزر وآخرون (2020)، الذي يسمح فقط بـ 100 ألف تفاعل مع البيئة الحقيقية. ونطبّق طريقةنا على 36 بيئة من أتلاري، ونُظهر أننا نحقق أداءً مماثلًا لخوارزمية SimPLe الخاصة بهم، مع أن نموذجنا أصغر بشكل ملحوظ.