تعلم تحسين تقدير وضعية الإنسان

تقدير وضعية الأشخاص المتعددين في الصور والفيديوهات هو مهمة مهمة ومعقدة لها العديد من التطبيقات. على الرغم من التحسينات الكبيرة التي أحدثتها شبكات النيورونات التلافيفية في تقدير وضعية الإنسان، لا تزال هناك حالات صعبة كثيرة حيث تفشل حتى أفضل النماذج الحالية في تحديد جميع مفاصل الجسم بشكل صحيح. هذا يحفز الحاجة إلى خطوة تحسين إضافية تعالج هذه الحالات الصعبة ويمكن تطبيقها بسهولة فوق أي طريقة موجودة. في هذا البحث، نقدم شبكة تحسين الوضعية (PoseRefiner) التي تتلقى كلًا من الصورة وتقدير الوضعية المعطى كمدخلات وتعلم التنبؤ مباشرة بوضعية محسنة من خلال الاستدلال المشترك عن فضاء المدخل والمخرج. لكي تستطيع الشبكة تعلم كيفية تصحيح التوقعات الخاطئة لمفاصل الجسم، نستخدم مخططًا جديدًا لتضخيم البيانات أثناء التدريب، حيث نقوم بنمذجة "الحالات الصعبة" لوضعية الإنسان. قمنا بتقييم نهجنا على أربعة مقاييس شائعة وكبيرة للتقدير الوضعي مثل MPII تقدير وضعية الشخص الواحد والأشخاص المتعددين، وPoseTrack تقدير الوضعيّة، وPoseTrack تتبع الوضعيّة، وأبلغنا عن تحسن منهجي على أحدث ما وصلت إليه التقنية.