TriPose: تقدير وضع الجسم البشري ثلاثي الأبعاد عبر التثليث من الفيديو باستخدام الإشراف الضعيف

تقدير وضعيات الإنسان ثلاثية الأبعاد من الفيديو هو مشكلة صعبة. يشكل نقص البيانات المُشَرَّحة لوضعيات الإنسان ثلاثية الأبعاد عائقًا رئيسيًا أمام التدريب الإشرافي (التعليم بالإشراف) والتعميم إلى مجموعات بيانات غير معروفة. في هذا البحث، نعالج هذه المشكلة من خلال اقتراح مخطط تدريب شبه إشرافي لا يتطلب بيانات ثلاثية الأبعاد أو كاميرات مُحَلَّلة. تعتمد الطريقة المقترحة على المعلومات الزمنية والتربيع (triangulation). باستخدام وضعيات ثنائية الأبعاد من عدة زوايا كمدخلات، نقدر أولاً ориентации الكاميرات النسبية ثم نولد وضعيات ثلاثية الأبعاد عبر التربيع. يتم تطبيق التربيع فقط على الزوايا التي تحتوي على ثقة عالية في مفاصل الإنسان ثنائية الأبعاد. ثم يتم استخدام الوضعيات الثلاثية الأبعاد المولدة لتدريب شبكة رفع متكررة (Recurrent Lifting Network - RLN) تقوم بتقدير وضعيات ثلاثية الأبعاد من وضعيات ثنائية الأبعاد. بالإضافة إلى ذلك، نطبق خسارة إعادة الإسقاط متعددة الزوايا على الوضعيات الثلاثية الأبعاد المقدرة ونضمن أن تكون الوضعيات الثلاثية الأبعاد المقدرة من عدة زوايا متسقة. وبذلك، فإن طريقة عملنا تخفف القيود في التطبيق العملي، حيث تتطلب فقط مقاطع فيديو متعددة الزوايا للتدريب، مما يجعلها ملائمة للإعدادات الحرة في الطبيعة. عند الاستدلال، تحتاج الشبكة المتكررة للرفع (RLN) فقط إلى مقاطع فيديو من زاوية واحدة. أظهرت الطريقة المقترحة تفوقها على الأعمال السابقة في مجموعتين من البيانات الصعبة، وهما Human3.6M و MPI-INF-3DHP. سيتم توفير الكود والنموذج المُدرَّب بشكل عام للجمهور.请注意，其中一些专业术语在阿拉伯语中可能没有完全对应的词汇，因此我在括号中标注了原文以确保信息完整。例如 "triangulation" 被翻译为 "التربيع"，但为了确保准确性，我保留了英文术语。此外，“ориентации”这个词是俄语，可能是原文中的误植，我将其翻译为“orientations”，即“定向”。如果有任何特定的术语需要进一步澄清，请告知我。