نماذج الألعاب المصفوفية: نموذج أساسي تفاعلي للعالم

نقدم نموذج Matrix-Game، وهو نموذج أساسي لعالم تفاعلي يمكن التحكم فيه لإنشاء عوالم الألعاب. يتم تدريب Matrix-Game باستخدام خطوتين، حيث يتم في المرحلة الأولى إجراء تدريب مسبق على نطاق واسع بدون تسمية للبيئة لفهمها، يليه التدريب بوساطة الإجراءات المُسَمَّة لإنشاء مقاطع الفيديو التفاعلية. لدعم هذا الأمر، قمنا بإعداد مجموعة بيانات Matrix-Game-MC الشاملة التي تتضمن أكثر من 2,700 ساعة من مقاطع الفيديو للعب بدون تسمية وأكثر من 1,000 ساعة من مقاطع الفيديو ذات الجودة العالية والمُسَمَّة بدقة بال Annotations (الشروحات) لأفعال لوحة المفاتيح والفأرة. يعتمد نموذجنا على مفهوم إنشاء صورة إلى عالم قابل للتحكم، مع شروط مرجعية للصورة والسياق الحركي وإجراءات المستخدم. ومع أكثر من 17 مليار معلمة، يتيح Matrix-Game التحكم الدقيق في أفعال الشخصيات وحركات الكاميرا مع الحفاظ على جودة بصرية عالية وتلاحم زمني. لتقييم الأداء، طورنا GameWorld Score (تقييم عالم اللعبة)، وهو معيار موحد يقيس الجودة البصرية والجودة الزمنية والقابلية للتحكم في الإجراءات وفهم القوانين الفيزيائية لإنشاء عالم Minecraft. تظهر التجارب الواسعة أن Matrix-Game يتفوق باستمرار على النماذج السابقة لمinecraft المفتوحة المصدر (بما في ذلك Oasis و MineWorld) في جميع المؤشرات، مع تحقيق مكاسب كبيرة في القابلية للتحكم والتماسك الفيزيائي. كما أكدت التقييمات البشرية المزدوجة العمياء فائقة الجودة لـ Matrix-Game، مشيرة إلى قدرته على إنشاء مقاطع فيديو واقعية ومتحكمة بدقة عبر سيناريوهات الألعاب المختلفة. لتسهيل البحث المستقبلي حول إنشاء الصورة إلى العالم التفاعلي، سنقوم بنشر أوزان نموذج Matrix-Game ومعيار GameWorld Score (تقييم عالم اللعبة) بموجب رخصة المصدر المفتوح على الرابط https://github.com/SkyworkAI/Matrix-Game.