التمثيل الاحتمالي الثابت للرؤية لموقف الإنسان

يمكن أن تختلف صور التكوينات المتشابهة للجسم البشري مع تغير زوايا الرؤية. باستخدام معلومات ثنائية الأبعاد (2D) فقط، نرغب في تمكين خوارزميات الرؤية من التعرف على التشابه في وضعيات الجسم البشري عبر العديد من الزوايا. يعتبر هذا القدرة مفيدة لتحليل حركات الجسم والسلوكيات البشرية في الصور والفيديوهات. في هذه الورقة البحثية، نقترح نهجًا لتعلم فضاء تمثيلي مضغوط ثابت أمام الزوايا من نقاط المفاصل ثنائية الأبعاد وحدها، دون التنبؤ بشكل صريح بوضعيات ثلاثية الأبعاد (3D). بما أن الوضعيات ثنائية الأبعاد يتم إسقاطها من الفضاء ثلاثي الأبعاد، فإنها تحمل غموضًا داخليًا يصعب تمثيله من خلال خريطة حتمية. لذلك، نستخدم التمثيلات الاحتمالية لنمذجة هذا الغموض في المدخلات. تظهر النتائج التجريبية أن نموذج التمثيل الخاص بنا يحقق دقة أعلى عند استرجاع وضعيات متشابهة عبر زوايا كاميرات مختلفة، بالمقارنة مع نماذج رفع الوضعيات من ثنائية إلى ثلاثية الأبعاد (2D-to-3D). كما نوضح فعالية تطبيق هذه التمثيلات في التعرف على الحركات الثابتة أمام الزوايا وتوافق الفيديو. يمكن الوصول إلى شفرتنا البرمجية من الرابط التالي: https://github.com/google-research/google-research/tree/master/poem.