A2J: شبكة الانحدار من نقطة الثقل إلى المفصل لتقدير الوضع ثلاثي الأبعاد من صورة عمق واحدة

لarefa تقدير وضعية اليد والجسم ثلاثية الأبعاد في الصور العميقة، تم اقتراح نهج جديد يعتمد على النقاط المرجعية يُسمى شبكة الانحدار من النقطة المرجعية إلى المفصل (A2J) والتي تتميز بقدرة التعلم من البداية إلى النهاية. ضمن A2J، يتم تعيين نقاط مرجعية كثيفة على الصورة العميقة تعمل كمقدرات محلية للمفاصل وتستطيع التقاط المعلومات السياقية المكانية العالمية والمحلية. هذه النقاط تسهم في التنبؤ بمواقع المفاصل بطريقة جماعية لتعزيز قدرة التعميم. النموذج المقترح لتقدير وضعية الجسم والمفاصل ثلاثي الأبعاد يختلف عن أفضل الأساليب الحالية التي تعتمد على الشبكات العصبية الكاملة ذات المُشفر والمفكك (FCN)، والشبكات العصبية ثلاثية الأبعاد (3D CNN)، وأساليب مجموعات النقاط. بالإضافة إلى ذلك، تم اقتراح إجراء اقتراح النقاط المرجعية لـ A2J لاكتشاف النقاط المرجعية المعلوماتية نحو مفصل معين. في الوقت نفسه، يتم استخدام شبكة 2D CNN (مثل ResNet-50) كشبكة أساس لتشغيل A2J، دون الحاجة إلى استخدام طبقات الانvolución أو الانvolution المعكوس ثلاثي الأبعاد التي تستهلك الكثير من الوقت. تجارب أجريت على ثلاثة مجموعات بيانات لليد واثنين لمجموعة بيانات الجسم تؤكد تفوق A2J. كما أن A2J يتميز بسرعة تشغيل عالية تبلغ حوالي 100 إطار في الثانية على بطاقة معالجة الرسومات NVIDIA 1080Ti الواحدة.