التعقب عبر الأوجه لتقدير الوضع ثلاثي الأبعاد للبشر متعددين بسرعة تزيد عن 100 إطارًا في الثانية

تقدير الوضع الثلاثي (3D) لعدة أشخاص في الوقت الفعلي يُعد مهمة كلاسيكية لكنها لا تزال تحديًا كبيرًا في رؤية الحاسوب. تكمن الصعوبة الرئيسية في الغموض الناتج عن التوافيق بين الوضعيات ثنائية الأبعاد (2D) عبر المناظير المختلفة، فضلًا عن الفضاء الحالة الهائل الذي ينشأ عندما يكون هناك عدد كبير من الأشخاص في عدة مناظير. في هذا البحث، نقدّم حلًا جديدًا لتقدير الوضع الثلاثي لعدة أشخاص من خلال مناظير متعددة مُحدَّدة مسبقًا. يعتمد الحل على دخول الوضعيات ثنائية الأبعاد من إحداثيات مناظير مختلفة، ويهدف إلى استخلاص الوضعيات الثلاثية الدقيقة في الإحداثيات العالمية. على عكس الطرق السابقة التي تقوم بتوافيق الوضعيات ثنائية الأبعاد بين جميع أزواج المناظير من البداية في كل إطار، نستفيد من الاستمرارية الزمنية في الفيديوهات لربط الإدخالات ثنائية الأبعاد مباشرة بالوضعيات الثلاثية في الفضاء ثلاثي الأبعاد. وبشكل أكثر تحديدًا، نقترح الاحتفاظ بالوضعية الثلاثية لكل شخص وتحديثها بشكل تكراري من خلال تتبع متعدد الأشخاص عبر المناظير المختلفة. يُحسّن هذا الصيغة المبتكرة من الدقة والكفاءة معًا، كما أظهرنا ذلك على مجموعات بيانات عامة شائعة الاستخدام. وللتحقق من قابلية التوسع في طريقة العمل، نقترح مجموعة بيانات جديدة كبيرة الحجم لحالات متعددة الأشخاص تتضمن من 12 إلى 28 منظارًا. وبلا إضافات معقدة، تحقق طريقة العمل لدينا معدل 154 إطارًا في الثانية على 12 منظارًا، و34 إطارًا في الثانية على 28 منظارًا، مما يدل على قدرتها على التعامل مع التطبيقات الواقعية الكبيرة الحجم. تم إصدار مجموعة البيانات المقترحة عبر الرابط التالي: https://github.com/longcw/crossview_3d_pose_tracking.