HyperAIHyperAI
منذ 2 أشهر

آلة الوضع البشري ثلاثية الأبعاد مع التعلم الذاتي

Keze Wang; Liang Lin; Chenhan Jiang; Chen Qian; Pengxu Wei
آلة الوضع البشري ثلاثية الأبعاد مع التعلم الذاتي
الملخص

بفضل التطبيقات الحديثة في رؤية الحاسوب والروبوتات، أصبح استعادة وضعيات الإنسان ثلاثية الأبعاد مهمًا بشكل متزايد وجذابًا للاهتمام المتزايد. في الواقع، يعد إكمال هذه المهمة تحديًا كبيرًا بسبب التنوع الكبير في المظاهر والزوايا المرئية والإخفاءات والغموض الهندسي الداخلي للصور أحادية العدسة. تركز معظم الطرق الموجودة على تصميم بعض الأولويات / القيود المعقدة لاستعادة وضعيات الإنسان ثلاثية الأبعاد مباشرة بناءً على الخصائص الواعية بوضعيات الإنسان ثنائية الأبعاد أو التوقعات ثنائية الأبعاد. ومع ذلك، نظرًا لنقص البيانات ثلاثية الأبعاد للتدريب والفجوة بين المجالين ثنائي وثلاثي الأبعاد، فإن هذه الطرق لديها قابلية محدودة للتكييف في جميع السيناريوهات العملية (مثل المشهد الخارجي). بهدف معالجة هذا المشكل، تقترح هذه الورقة آليّة تصحيح ذاتيّة بسيطة ولكن فعالة لتعلم جميع الهياكل الداخلية لوضعيات الإنسان من صور كثيرة. وبشكل خاص، تتضمن الآلية المقترحة مهام تعلم مزدوجة، أي تحويل وضعيات الإنسان من ثنائية إلى ثلاثية الأبعاد (2D-to-3D) وإسقاط وضعيات الإنسان من ثلاثية إلى ثنائية الأبعاد (3D-to-2D)، لتكون جسرًا بين وضعيات الإنسان ثنائية وثلاثية الأبعاد في نوع من الإشراف الذاتي "المجان" لتقدير دقيق لوضعيات الإنسان ثلاثية الأبعاد. يشير تحويل الوضعيات من ثنائية إلى ثلاثية الأبعاد إلى استعادة وضعيات ثلاثة أبعاد توسطية بالتدريج عن طريق تحويل تمثيل الوضع من المجال الثنائي إلى المجال الثلاثي تحت سياق زمني يعتمد على التسلسل الزمني، بينما يساهم إسقاط الوضعيات من ثلاثية إلى ثنائية الأبعاد في تحسين الوضعيات الثلاثية التوسطية عن طريق الحفاظ على التجانس الهندسي بين الإسقاطات الثنائية للوضعيات الثلاثية والوضعيات الثنائية المقدرة. نقوم أيضًا بتطبيق آلية التصحيح الذاتي لدينا لتطوير ماكينة وضعيات الإنسان ثلاثية الأبعاد، والتي تقوم بدمج العلاقة الفضائية ثنائية الأبعاد وسلاسة التنبؤات الزمنية والمعرفة الهندسية ثلاثية الأبعاد بشكل مشترك. تُظهر التقييمات الواسعة أداء ومفعول إطار عملنا المتفوق على جميع الأساليب المنافسة التي تم مقارنتها به.