PoseTriplet: تطوير مشترك لتقدير وضعية الإنسان ثلاثية الأبعاد، والمحاكاة، والتخيل تحت الإشراف الذاتي

تُعتمد معظم الطرق الحالية لتقدير موضع الإنسان ثلاثي الأبعاد ذاتيًا إلى حد كبير على إشراف ضعيف مثل خسارة الاتساق لتوجيه التعلم، مما يؤدي حتمًا إلى نتائج أقل جودة في السياقات الواقعية التي تضم مواقف غير مسبوقة. في هذه الورقة، نقترح منهجًا ذاتيًا جديدًا يتيح لنا إنشاء أزواج موضع ثنائية الأبعاد-ثلاثية الأبعاد بشكل صريح لتعزيز الإشراف، من خلال إطار عمل تعلم مزدوج ذاتي التحسين. ويُمكن تحقيق ذلك من خلال إدخال مُقلِّد مبني على التعلم بالتعزيز، والذي يُدرَّس بشكل مشترك مع مُقدِّر الموضع ومحوِّل الموضع؛ حيث تُشكِّل هذه المكونات الثلاثة دائرتين متداخلتين خلال عملية التدريب، مكملة لبعضها البعض وتعززها. بشكل محدد، يقوم مُقدِّر الموضع بتحويل تسلسل موضع ثنائي الأبعاد المدخل إلى إخراج ثلاثي الأبعاد بجودة منخفضة، ثم يُحسَّن هذا الإخراج بواسطة المُقلِّد الذي يفرض قيودًا فيزيائية. ويتم بعد ذلك تغذية المواقف ثلاثية الأبعاد المحسَّنة إلى المحول لإنتاج بيانات أكثر تنوعًا، والتي تُعزَّز بدورها بواسطة المُقلِّد، ثم تُستخدم لتدريب مُقدِّر الموضع. وبشكل عملي، يمكّن هذا النموذج من تدريب مُقدِّر الموضع على بيانات حركية مولَّدة ذاتيًا دون الاعتماد على أي بيانات ثلاثية الأبعاد مُعطاة. تُظهر التجارب الواسعة عبر مختلف المعايير نتائج مُحْفِزة، تتفوَّق بشكل كبير على أفضل الطرق الحالية، وفي بعض الحالات تُصبح مُماثلة لنتائج الطرق ذات الإشراف الكامل. وبشكل ملحوظ، حقق أداءً بنسبة 89.1% في معيار PCK ثلاثي الأبعاد على مجموعة بيانات MPI-INF-3DHP ضمن بيئة تقييم ذاتي عبر مجموعات بيانات، متفوِّقًا على أفضل الطرق ذاتية الإشراف السابقة بنسبة 8.6%. يمكن العثور على الكود في: https://github.com/Garfield-kh/PoseTriplet