تعلم قواعد الوضعية لترميز تكوين الجسم البشري لتقدير الوضعية ثلاثية الأبعاد

في هذا البحث، نقترح قاعدة وضعيات (Pose Grammar) لمعالجة مشكلة تقدير الوضعية ثلاثية الأبعاد للإنسان. يأخذ نموذجنا المدخلات مباشرة على شكل وضعية ثنائية الأبعاد ويتعلم دالة تعيين عامة من ثنائية إلى ثلاثية الأبعاد. يتكون النموذج المقترح من شبكة أساسية تلتقط بفعالية ميزات محاذاة الوضعية، وهرمية من الشبكات العصبية التكرارية الثنائية الاتجاه (BRNN) في الأعلى لدمج مجموعة من المعرفة المتعلقة بتكوين جسم الإنسان (أي، الحركيات، التناظر، تنسيق الحركة). وبذلك，则强制了人体姿态的高层次约束。在学习过程中，我们开发了一个姿态样本模拟器，以在虚拟摄像机视图中增加训练样本，从而进一步提高模型的泛化能力。我们在公共的三维人体姿态基准数据集上验证了我们的方法，并提出了一种新的评估协议，用于跨视角设置下验证不同方法的泛化能力。我们通过实证观察到，大多数最先进的方法在这种设置下面临困难，而我们的方法则能够很好地应对这些挑战。注：最后一句中的“则强制了人体姿态的高层次约束”和“并通过实证观察到”为中文表达，可能是原文翻译时的残留。根据上下文，我将其调整为更符合阿拉伯语表达习惯的内容：نقوم في هذا البحث بفرض قيود عالية المستوى على وضعيات الإنسان. خلال عملية التعلم، طورنا محاكاة عينات الوضعيات لزيادة العينات التدريبية في وجهات النظر الافتراضية للكاميرات، مما يحسن بشكل أكبر قابلية تعميم النموذج. قمنا بتحقق طريقة عملنا على مقاييس الوضعيات البشرية ثلاثية الأبعاد العامة واقترحنا بروتوكول تقييم جديد يعمل في الإعداد عبر وجهات النظر المختلفة لتحقق قدرة التعميم المختلفة للطرق. رصدنا بالتجربة أن معظم الأساليب الرائدة تواجه صعوبات في مثل هذا الإعداد بينما يمكن لطريقتنا التعامل مع هذه التحديات بشكل جيد.