HyperAIHyperAI

Command Palette

Search for a command to run...

EgoPoseFormer: خط أساس بسيط لتقدير الوضع ثلاثي الأبعاد للإنسان من وجهة نظر الذات باستخدام الصور النمطية

Chenhongyi Yang\textsuperscript1,2\thanksWork done when working as a research scientist intern at Meta Reality Labs Anastasia Tkach\textsuperscript2 Shreyas Hampali\textsuperscript2 Linguang Zhang\textsuperscript2 Elliot J. Crowley\textsuperscript1 Cem Keskin\textsuperscript2

الملخص

نقدم EgoPoseFormer، وهو نموذج بسيط ومعتمد على الترانسفورمر لتقدير وضعية الجسم البشرية من وجهة نظر الذات في الصور النمطية (الستيريو). التحدي الرئيسي في تقدير وضعية الجسم من وجهة نظر الذات يتمثل في التغلب على عدم ظهور المفاصل، والذي ينتج عن الاختفاء الذاتي أو مجال رؤية محدود (FOV) للكاميرات المرتبكة على الرأس. تتجاوز طريقتنا هذا التحدي من خلال دمج نموذج تقدير الوضعية بمراحلين:في المرحلة الأولى، يستخدم النموذج المعلومات العالمية لتقدير موقع كل مفصل بشكل خشن. ثم في المرحلة الثانية، يستخدم ترانسفورمر بنمط DETR لتكرار تقدير المواقع الخشنة من خلال استغلال الخصائص البصرية النمطية الدقيقة.بالإضافة إلى ذلك، نقدم عملية انتباه ستيريوي مرنة (Deformable Stereo Attention) تمكّن ترانسفورمر الخاص بنا من معالجة الخصائص متعددة الآراء بكفاءة، مما يسمح له بتقعيد كل مفصل بدقة في العالم ثلاثي الأبعاد. قمنا بتقييم طريقتنا على مجموعة بيانات UnrealEgo النمطية وأظهرنا أنها تتفوق بشكل كبير على الأساليب السابقة مع الحفاظ على الكفاءة الحسابية: حيث تحسن MPJPE بمقدار 27.4 ملم (تحسين بنسبة 45%) باستخدام فقط 7.9% من معلمات النموذج و13.1% من العمليات العائمة (FLOPs) مقارنة بأحدث التقنيات.وبشكل مفاجئ، وجدنا أنه حتى شبكة اقتراح الوضعية في المرحلة الأولى يمكنها تحقيق أداء أفضل مقارنة بالأساليب السابقة عند استخدام إعدادات التدريب المناسبة. كما أظهرنا أن طريقتنا يمكن توسيعها بسلاسة إلى الإعداد الأحادي العين، مما يجعلها تحقق أداءً يوازي أحدث التقنيات على مجموعة بيانات SceneEgo: حيث تحسن MPJPE بمقدار 25.5 ملم (تحسين بنسبة 21%) باستخدام فقط 60.7% من معلمات النموذج و36.4% من العمليات العائمة (FLOPs) مقارنة بأفضل الطُرق الموجودة حاليًا.الرمز البرمجي متاح عبر الرابط التالي:https://github.com/ChenhongyiYang/egoposeformer .


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp