SkelFormer: تقدير الوضع والشكل ثلاثي الأبعاد بدون علامات باستخدام متحولات الهيكل العظمي

نقدم SkelFormer، وهو خط أنابيب جديد لتقاطع الحركة بدون علامات لمراقبة وضعية وشكل الإنسان من عدة زوايا. يبدأ أسلوبنا باستخدام مقدرات النقاط الرئيسية ثنائية الأبعاد جاهزة الاستخدام، التي تم تدريبها على بيانات واسعة النطاق في البيئة الطبيعية، للحصول على مواقع المفاصل ثلاثية الأبعاد. بعد ذلك، نصمم محول هيكل عكسي قائم على الانحدار يخريطة مواقع المفاصل إلى تمثيلات الوضعية والشكل من مشاهدات مليئة بالضوضاء. يتضمن هذا الوحدة معرفة سابقة عن فضاء الوضعية ويستنتج الحالة الكاملة للوضعية أثناء التشغيل.فصل عملية اكتشاف النقاط الرئيسية ثلاثية الأبعاد عن مشكلة الهيكل العكسي، بالإضافة إلى التمثيلات التعبيرية التي تتعلمها محولتنا الهيكلية، يعزز تعميم أسلوبنا على البيانات الضوضائية غير المعروفة سابقًا. نقيم طريقتنا على ثلاثة مجموعات بيانات عامة في إعدادات داخل التوزيع وخارج التوزيع باستخدام ثلاث مجموعات بيانات، ونلاحظ أداءً قويًا مقارنة بالأعمال السابقة. علاوة على ذلك، تظهر التجارب الإقصائية تأثير كل وحدة من وحدات هندستنا. وأخيرًا، ندرس أداء طريقتنا في التعامل مع الضوضاء والإخفاء الشديد ونجدها ذات صلابة كبيرة مقارنة بالحلول الأخرى.