HandOccNet: شبكة تقدير الشبكة ثلاثية الأبعاد لليد المقاومة للحجب

الايدي غالبًا ما تكون مغطاة بشدة بالأجسام، مما يجعل تقدير الشبكة ثلاثية الأبعاد لليد تحديًا صعبًا. غالبًا ما تتجاهل الدراسات السابقة المعلومات في المناطق المغطاة. ومع ذلك، نعتقد أن المناطق المغطاة لها ارتباطات قوية باليد بحيث يمكنها تقديم معلومات ذات فائدة عالية لتقدير الشبكة ثلاثية الأبعاد الكاملة لليد. لذلك، في هذا العمل، نقترح شبكة جديدة لتقدير الشبكة ثلاثية الأبعاد لليد تسمى HandOccNet، والتي تستغل بشكل كامل المعلومات في المناطق المغطاة كوسيلة ثانوية لتعزيز خصائص الصورة وجعلها أكثر غنىً. لتحقيق هذا الغرض، صممنا وحدتين متتاليتين تعتمدان على الترانسفورمر، وهما الترانسفورمر المُحقِّق للخصائص (FIT) والترانسفورمر الذاتي المعزز (SET). يقوم FIT بحقن المعلومات اليدوية في المنطقة المغطاة من خلال الأخذ بعين الاعتبار ارتباطاتها. أما SET فيقوم بتحسين نتيجة FIT باستخدام آلية الانتباه الذاتي. من خلال حقن المعلومات اليدوية في المنطقة المغطاة، تحقق شبكتنا HandOccNet أداءً يتفوق على أفضل الأداء السابق في مقاييس الشبكة ثلاثية الأبعاد لليد التي تحتوي على تحديات غلق اليدين بالأجسام. الكود متاح في: https://github.com/namepllet/HandOccNet.