Command Palette
Search for a command to run...
A2J: شبكة الانحدار من نقطة الثقل إلى المفصل لتقدير الوضع ثلاثي الأبعاد من صورة عمق واحدة
A2J: شبكة الانحدار من نقطة الثقل إلى المفصل لتقدير الوضع ثلاثي الأبعاد من صورة عمق واحدة
Fu Xiong extsuperscript1* Boshen Zhang extsuperscript1* Yang Xiao extsuperscript1† Zhiguo Cao extsuperscript1 Taidong Yu extsuperscript1 Joey Tianyi Zhou extsuperscript2 Junsong Yuan extsuperscript3
الملخص
لarefa تقدير وضعية اليد والجسم ثلاثية الأبعاد في الصور العميقة، تم اقتراح نهج جديد يعتمد على النقاط المرجعية يُسمى شبكة الانحدار من النقطة المرجعية إلى المفصل (A2J) والتي تتميز بقدرة التعلم من البداية إلى النهاية. ضمن A2J، يتم تعيين نقاط مرجعية كثيفة على الصورة العميقة تعمل كمقدرات محلية للمفاصل وتستطيع التقاط المعلومات السياقية المكانية العالمية والمحلية. هذه النقاط تسهم في التنبؤ بمواقع المفاصل بطريقة جماعية لتعزيز قدرة التعميم. النموذج المقترح لتقدير وضعية الجسم والمفاصل ثلاثي الأبعاد يختلف عن أفضل الأساليب الحالية التي تعتمد على الشبكات العصبية الكاملة ذات المُشفر والمفكك (FCN)، والشبكات العصبية ثلاثية الأبعاد (3D CNN)، وأساليب مجموعات النقاط. بالإضافة إلى ذلك، تم اقتراح إجراء اقتراح النقاط المرجعية لـ A2J لاكتشاف النقاط المرجعية المعلوماتية نحو مفصل معين. في الوقت نفسه، يتم استخدام شبكة 2D CNN (مثل ResNet-50) كشبكة أساس لتشغيل A2J، دون الحاجة إلى استخدام طبقات الانvolución أو الانvolution المعكوس ثلاثي الأبعاد التي تستهلك الكثير من الوقت. تجارب أجريت على ثلاثة مجموعات بيانات لليد واثنين لمجموعة بيانات الجسم تؤكد تفوق A2J. كما أن A2J يتميز بسرعة تشغيل عالية تبلغ حوالي 100 إطار في الثانية على بطاقة معالجة الرسومات NVIDIA 1080Ti الواحدة.