Command Palette
Search for a command to run...
PlayerOne: محاكِّي العالم المتمركز حول الذات
PlayerOne: محاكِّي العالم المتمركز حول الذات
Yuanpeng Tu Hao Luo Xi Chen Xiang Bai Fan Wang Hengshuang Zhao
الملخص
نقدم لكم "PlayerOne"، أول محاكٍ للعالم الحقيقي من وجهة نظر الشخص الأول، والذي يسهل الاستكشاف الشامل وغير المقيّد ضمن بيئات ديناميكية حيويّة. عند تقديم صورة مشهد من وجهة نظر الشخص الأول من قبل المستخدم، يمكن لـ "PlayerOne" بناء العالم المقابل بدقة وإنتاج مقاطع فيديو من وجهة نظر الشخص الأول التي تتوافق بشكل صارم مع حركة الإنسان في المشهد الحقيقي للمستخدم الذي تم التقاطه بواسطة كاميرا خارجية (Exocentric). يتم تدريب "PlayerOne" في خط أنابيب يتدرج من الخشن إلى الدقيق، حيث يتم أولاً التدريب المسبق على أزواج النص-الفيديو ذات الوجهة الذاتية بحجم كبير لتحقيق فهم خشن المستوى للوجهة الذاتية، ثم يتم التعديل الدقيق باستخدام بيانات الحركة-الفيديو المتزامنة المستخرجة من مجموعات بيانات الفيديو ذات الوجهتين الذاتية والخارجية (Egocentric-Exocentric) بواسطة خط أنابيب البناء الآلي لدينا. بالإضافة إلى ذلك، مع الأخذ بعين الاعتبار الأهمية المتغيرة للمكونات المختلفة، قمنا بتصميم مخطط حقن الحركة المنفصل جزئياً، مما يتيح التحكم الدقيق في حركات المستوى الجزئي. كما ابتكرنا إطار إعادة بناء مشترك يُنمذج فيه المشهد ذو الأبعاد الأربعة والإطارات الفيديوية تدريجياً، مما يضمن التوافق بين المشاهد في إنتاج الفيديوهات الطويلة. تظهر النتائج التجريبية قدرته الكبيرة على التعميم في التحكم الدقيق بالحركات البشرية المتغيرة ونمذجة السيناريوهات المتنوعة بشكل متسق مع العالم. يعد هذا الإنجاز أول محاولة لمحاكاة العالم الحقيقي من وجهة نظر الشخص الأول ويمكن أن يفتح الطريق أمام المجتمع للغوص في آفاق جديدة لنمذجة العالم وتعدد تطبيقاتها.