التعلم غير المشرف لهيكل وديناميكيات الكائنات من الفيديوهات

استخراج وتوقع بنية الأشياء وديناميكيتها من الفيديوهات دون إشراف هو تحدي رئيسي في تعلم الآلة. لمواجهة هذا التحدي، نعتمد تمثيل صورة يستند إلى النقاط الرئيسية (keypoints) ونتعلم نموذج ديناميك عشوائي لهذه النقاط. يتم إعادة بناء الإطارات المستقبلية من النقاط الرئيسية وإطار مرجعي. عن طريق نمذجة الديناميك في فضاء إحداثيات النقاط الرئيسية، نحقق تعلمًا مستقرًا وتجنب تراكم الأخطاء في فضاء البكسل. يحسن طريقة عملنا على التمثيلات غير المنظمة سواءً في تنبؤ الفيديو على مستوى البكسل أو في المهام اللاحقة التي تتطلب فهمًا على مستوى الأشياء لديناميكيات الحركة. قمنا بتقييم نموذجنا على مجموعات بيانات متنوعة: مجموعة بيانات رياضية متعددة الوكلاء، ومجموعة بيانات Human3.6M، ومجموعات بيانات تعتمد على مهام التحكم المستمر من DeepMind Control Suite. أثبت التمثيل المنظم فضائيًا تفوقه على التمثيلات غير المنظمة في مجموعة متنوعة من المهام المتعلقة بالحركة مثل تتبع الأشياء، وتعرف الإجراءات، وتنبؤ المكافآت.