PhysX: إنشاء أصول ثلاثية الأبعاد مبنية على الفيزياء

النمذجة ثلاثية الأبعاد تنتقل من الافتراضي إلى المادي. يركز النمذج ثلاثي الأبعاد الموجود حاليًا بشكل أساسي على الهندسة والملمس مع إهمال النمذجة المبنية على الأساس الفيزيائي. نتيجة لذلك، رغم التطور السريع للنماذج الجينيراتيفية ثلاثية الأبعاد، غالبًا ما تتجاهل الأصول الثلاثية الأبعاد التي يتم إنشاؤها خصائص فيزيائية غنية ومهمة، مما يعيق تطبيقاتها الحقيقية في المجالات المادية مثل المحاكاة والذكاء الاصطناعي المتجسد. كمحاولة أولى لمعالجة هذا التحدي، نقترح نظام PhysX، وهو نموذج شامل لإنشاء الأصول الثلاثية الأبعاد المبنية على الأساس الفيزيائي.1) لسد الفجوة الحرجة في مجموعات البيانات ثلاثية الأبعاد المشتملة على التوقيعات الفيزيائية، نقدم PhysXNet - أول مجموعة بيانات ثلاثية أبعاد مبنية على الأساس الفيزيائي تم توقيعها بشكل منهجي عبر خمسة أبعاد أساسية: الحجم المطلق، المادة، القدرة على الاستخدام (Affordance)، الحركة الديناميكية (Kinematics)، ووصف الوظيفة. بشكل خاص، نصمم أنبوب عمل قابل للتوسع يتضمن الإنسان في الحلقة (Human-in-the-loop) بناءً على نماذج الرؤية-اللغة، مما يمكن من إنشاء أصول فيزيائية أولًا بكفاءة من الأصول الأولية الثلاثية الأبعاد.2) بالإضافة إلى ذلك، نقترح PhysXGen، وهو إطار عمل مباشر لإنشاء أصول صورية-فيزيائية من الصور إلى الأصول الثلاثية الأبعاد، حيث يتم حقن المعرفة الفيزيائية في المساحة الهيكلية ثلاثية الأبعاد المدربة مسبقًا. بصفة خاصة، يستخدم PhysXGen هندسة ذات فرعين مزدوجين لنمذجة العلاقات الكامنة بين الهياكل الثلاثية الأبعاد والخصائص الفيزيائية بشكل صريح، مما يؤدي إلى إنتاج أصول ثلاثية أبعاد ذات توقعات فيزيائية محتملة مع الحفاظ على جودة الهندسة الأساسية. تؤكد التجارب الواسعة الأداء المتفوق وقدرة التعميم الواعدة لنموذجنا. سيتم إطلاق جميع الكود والبيانات والنماذج لتسهيل البحث المستقبلي في الذكاء الاصطناعي الجينيراتيفي الفيزيائي.