Klemen Kotar Wanhee Lee Rahul Venkatesh Honglin Chen Daniel Bear et al

الملخص

نقدّم نظام التكامل الهيكلي الاحتمالي (PSI)، وهو نظام يُتعلم نماذج عالمية غنية التحكم ومرنة التوجيه من البيانات. يتكون PSI من دورة مكونة من ثلاث خطوات. في الخطوة الأولى، التنبؤ الاحتمالي، نُنشئ نموذجًا رسوميًا احتماليًا (Psi) للبيانات، على شكل نموذج تسلسلي ذاتي-انسحابي يمكن الوصول إليه عشوائيًا. يدعم نموذج Psi مجموعة كاملة من التوزيعات الشرطية المُتعلمة التي تصف الاعتماد بين أي متغيرات في البيانات على أي مجموعة أخرى من المتغيرات. وفي الخطوة الثانية، استخلاص البنية، نُظهر كيف يمكن استخلاص الخصائص منخفضة الأبعاد الكامنة في البيانات، والتي تتوافق مع مجموعة متنوعة من "الهياكل الوسيطة" ذات المعنى، بطريقة صفرية (zero-shot) من خلال الاستدلال السببي على نموذج Psi. أما في الخطوة الثالثة، التكامل، فتُكتمل الدورة من خلال تحويل هذه الهياكل إلى أنواع جديدة من الرموز (tokens)، والتي تُدمج باستمرار في عملية التدريب كإشارات توجيهية وأهداف للتنبؤ. كل دورة من هذا النوع تُعزز من قدرات نموذج Psi، مما يُمكّنه من تمثيل البيانات الأساسية بشكل أفضل، ويُنشئ أيضًا وسائل تحكم جديدة — مشابهة للغة التوجيه الشاملة المماثلة للنماذج اللغوية الكبيرة (LLM). قمنا بتدريب نسخة من نموذج Psi على بيانات فيديو من الإنترنت تبلغ 1.4 تريليون رمز (token)، واستخدمناها لأداء مجموعة متنوعة من الاستنتاجات المفيدة في توقع الفيديو وفهمه؛ كما استخرجنا أفضل النماذج الحالية في مجال التدفق البصري (optical flow) والعمق المعتمد على التدريب الذاتي (self-supervised depth) وتقسيم الكائنات (object segmentation)؛ واستخدمنا هذه الهياكل لدعم دورة كاملة من التحسينات التنبؤية.