MIME: توليد المشاهد ثلاثية الأبعاد مع الوعي البشري

إنشاء عوالم ثلاثية الأبعاد واقعية يشغلها البشر المتحركون له العديد من التطبيقات في الألعاب والهندسة المعمارية وإنشاء البيانات الاصطناعية. ومع ذلك، فإن إنتاج مثل هذه المشاهد مكلف ويستغرق الكثير من الجهد. تهدف الأعمال الحديثة إلى إنشاء أوضاع حركية للبشر في مشهد ثلاثي الأبعاد معين. هنا، نتبنى النهج المعاكس ونقوم بإنشاء مشاهد داخلية ثلاثية الأبعاد بناءً على الحركة البشرية الثلاثية الأبعاد. يمكن أن تأتي هذه الحركات من تسجيلات الحركة القديمة أو من أجهزة الاستشعار القائمة على IMU التي يتم ارتداؤها على الجسم، مما يجعل الحركة البشرية بمثابة "مسح" للعالم ثلاثي الأبعاد. بشكل حدسي، تشير الحركة البشرية إلى المساحة الحرة في الغرفة، بينما تشير الاتصالات البشرية إلى السطوح أو الأجسام التي تدعم الأنشطة مثل الجلوس أو الاستلقاء أو اللمس.نقترح نظام MIME (استخراج التفاعلات والحركات لاستنتاج البيئات ثلاثية الأبعاد)، وهو نموذج إبداعي للمشاهد الداخلية ينتج ترتيبات للأثاث متسقة مع الحركة البشرية. يستخدم MIME هندسة محول ذاتي التنظيم (auto-regressive transformer) التي تأخذ الكائنات المُنتجة بالفعل في المشهد وكذلك الحركة البشرية كمدخلات، وتخرج الكائن التالي الأكثر احتمالاً. لتدريب MIME، قمنا ببناء مجموعة بيانات عن طريق ملء مجموعة بيانات 3D FRONT بالبشر الثلاثيين الأبعاد. أظهرت التجارب أن MIME ينتج مشاهد ثلاثية أبعاد أكثر تنوعاً وأكثر احتمالية من طريقة إبداع المشاهد الحديثة التي لا تتعرف على الحركة البشرية. سيتم توفير الشفرة والمجموعة البيانات لأغراض البحث على الرابط https://mime.is.tue.mpg.de.