HMP: أولويات حركة اليد لتقدير الوضع والشكل من الفيديو

فهم كيفية تفاعل الإنسان مع العالم يتطلب تقدير دقيق لموضع اليد ثلاثي الأبعاد، وهي مهمة معقدة بسبب درجة عالية من التحريك في اليد، والإغلاق المتكرر، والإغلاق الذاتي، والحركات السريعة. بينما تعتمد معظم الأساليب الحالية على مدخلات صورة واحدة، تحتوي مقاطع الفيديو على مؤشرات مفيدة لمعالجة القضايا المذكورة أعلاه. ومع ذلك، فإن مجموعات البيانات ثلاثية الأبعاد لليد القائمة على الفيديو غير كافية لتدريب النماذج التغذوية الأمامية على تعميم السيناريوهات الطبيعية. من ناحية أخرى، لدينا إمكانية الوصول إلى مجموعات بيانات كبيرة لتقاطع حركة الإنسان التي تتضمن أيضًا حركات اليدين، مثل AMASS. لذلك، قمنا بتطوير نموذج حركة توليدي خاص باليد تم تدريبه على مجموعة بيانات AMASS التي تتضمن حركات يد متنوعة وعالية الجودة. يتم استخدام هذا النموذج الحركي بعد ذلك في تقدير حركة اليد ثلاثية الأبعاد القائم على الفيديو اعتمادًا على نهج التحسين الكامن. يعزز دمجنا لنموذج الحركة القوي بشكل كبير الأداء، خاصة في السيناريوهات ذات الإغلاق. فهو ينتج نتائج مستقرة ومتسقة زمنيًا تتفوق على الأساليب التقليدية القائمة على الإطار الواحد. نوضح فعالية طريقتنا من خلال تقييمات نوعية وكمية على مجموعتي بيانات HO3D وDexYCB، مع التركيز بشكل خاص على مجموعة فرعية من HO3D تركز على الإغلاق. يمكن الحصول على الكود من الرابط التالي: https://hmp.is.tue.mpg.de