الوكالات القادرة على التفكير والتخطيط في العالم الحقيقي تحتاج إلى قدرة التنبؤ بنتائج إجراءاتها. وعلى الرغم من أن نماذج العالم تمتلك هذه القدرة، إلا أنها غالبًا ما تتطلب تسميات للإجراءات، والتي يمكن أن تكون معقدة جدًا في الحصول عليها على نطاق واسع. وهذا يدفع إلى تعلم نماذج إجراءات خفية (Latent Action Models)، التي يمكنها استخلاص فضاء الإجراءات من مقاطع الفيديو وحدها. يتناول عملنا مشكلة تعلم نماذج العالم ذات إجراءات خفية على مقاطع فيديو من الحياة الواقعية (in-the-wild)، مما يوسع نطاق الأعمال السابقة التي ركزت على بيئات المحاكاة البسيطة للروبوتات، أو ألعاب الفيديو، أو بيانات التلاعب. وعلى الرغم من أن هذا يسمح لنا بالتقاط إجراءات أكثر غنىً، فإنه يفرض أيضًا تحديات ناتجة عن تنوع مقاطع الفيديو، مثل الضوضاء البيئية، أو غياب الهيكل المشترك (embodiment) بين المقاطع. وللتغلب على بعض هذه التحديات، نناقش الخصائص التي ينبغي أن تمتلكها الإجراءات، إلى جانب الخيارات المعمارية ذات الصلة والتقييمات المناسبة. ونجد أن الإجراءات الخفية المستمرة ولكن المقيدة قادرة على التقاط التعقيدات المرتبطة بالإجراءات في مقاطع الفيديو من الحياة الواقعية، وهو ما لا تحققه طريقة التكميم المتجهي الشائعة (vector quantization). على سبيل المثال، نلاحظ أن التغيرات في البيئة الناتجة عن ظهور كائنات، مثل دخول أشخاص إلى الغرفة، يمكن نقلها عبر مقاطع فيديو مختلفة. ويُبرز هذا القدرة على تعلم إجراءات مخصصة لمقاطع الفيديو من الحياة الواقعية. وفي غياب هيكل مشترك بين المقاطع، نتمكن في المقام الأول من تعلم إجراءات خفية تصبح موضعية في الفضاء بالنسبة إلى الكاميرا. ومع ذلك، ننجح في تدريب محرك تحكم يحوّل الإجراءات المعروفة إلى إجراءات خفية، مما يمكّننا من استخدام الإجراءات الخفية كواجهة عالمية، وحل مهام التخطيط باستخدام نموذج العالم لدينا، وبأداء مشابه لأداء النماذج البديلة التي تعتمد على الإجراءات كمدخلات. توفر تحليلاتنا وتجاربنا خطوة مهمة نحو توسيع نطاق نماذج الإجراءات الخفية ليشمل العالم الحقيقي.