Light3DPose: تقدير مكاني 3D متعدد الأشخاص في الزمن الحقيقي من عدة زوايا

نقدّم نهجًا لتقدير الوضع الثلاثي الأبعاد (3D pose estimation) لعدة أشخاص من عدد قليل من الزوايا المُعدّلة للكاميرات. تعتمد معمارية نموذجنا على طبقة إعادة التمثيل (unprojection layer) التي تم اقتراحها حديثًا، حيث تقوم بتجميع خرائط الميزات (feature-maps) الناتجة من جزء الأساس (backbone) الخاص بمحرّك التقدير ثنائي الأبعاد (2D pose estimator) لتكوين تمثيل شامل للساحة ثلاثية الأبعاد. ثم يتم تطوير هذا التمثيل الوسيط باستخدام شبكة ثلاثية الأبعاد ذات تراكيب كاملة (fully-convolutional volumetric network) ومراحل فك التشفير (decoding stage) لاستخراج هياكل العظام ثلاثية الأبعاد بدقة تقل عن حجم البكسل (sub-voxel accuracy). تحقق طريقة عملنا أفضل النتائج (state of the art) في معيار MPJPE على مجموعة بيانات CMU Panoptic باستخدام عدد قليل من الزوايا غير المرئية، وتحصل على نتائج تنافسية حتى عند استخدام رؤية واحدة فقط كمدخل. كما قمنا بتقييم قدرة النموذج على التعلم الناقل (transfer learning) من خلال اختباره على مجموعة بيانات Shelf المتوفرة علنًا، حيث أظهر أداءً جيدًا من حيث مقاييس الأداء. يتميز النهج المقترح بطبيعته الكفاءة العالية: باعتباره نهجًا "من الأسفل إلى الأعلى" (bottom-up) بحتًا، فإن حساباته لا تعتمد على عدد الأشخاص في المشهد. علاوة على ذلك، وعلى الرغم من أن الحمل الحسابي الجزء ثنائي الأبعاد يتناسب خطيًا مع عدد زوايا الكاميرات المدخلة، فإن البنية العامة للنظام قادرة على استغلال نموذج أساسي ثنائي الأبعاد خفيف جدًا، وهو أسرع بمرات عديدة من النموذج الثلاثي الأبعاد، مما يؤدي إلى زمن استجابة سريع. يمكن للنظام العمل بسرعة 6 إطارات في الثانية (FPS)، مع معالجة ما يصل إلى 10 زوايا كاميرات على وحدة معالجة رسومية واحدة من نوع 1080Ti.