Command Palette
Search for a command to run...
LASOR: تعلم الوضع والشكل البشري الدقيق في ثلاثية الأبعاد من خلال البيانات الواعية للحجب المصنعة وتقنيات التصوير الشبكي العصبي
LASOR: تعلم الوضع والشكل البشري الدقيق في ثلاثية الأبعاد من خلال البيانات الواعية للحجب المصنعة وتقنيات التصوير الشبكي العصبي
Kaibing Yang Renshu Gu Maoyu Wang Masahiro Toyoura Gang Xu
الملخص
التحدي الرئيسي في مهمة تقدير وضع وشكل الإنسان هو التغطية، بما في ذلك التغطية الذاتية، وتغطية الأشياء على الإنسان، والتغطية بين الأشخاص. يصبح نقص البيانات التدريبية المتنوعة والدقيقة للوضع والشكل عقبة رئيسية، خاصةً في المشاهد التي تحتوي على تغطيات في البيئة الحقيقية. في هذا البحث، نركز على تقدير وضع وشكل الإنسان في حالة التغطية بين الأشخاص، مع التعامل أيضًا مع تغطية الأشياء على الإنسان والتغطية الذاتية. نقترح إطارًا جديدًا يقوم بدمج بيانات القناع (silhouette) والنقاط الرئيسية ثنائية البعد (2D keypoints) التي تعيّر للتغطيات، ويقوم بتقدير معلمات الوضع والشكل مباشرة من خلال نموذج SMPL. يتم استخدام محرك ثلاثي الأبعاد عصبي لتمكين الإشراف على القناع بشكل فوري، مما يساهم في تحسين كبير في تقدير الشكل. بالإضافة إلى ذلك، يتم دمج بيانات التدريب المستمدة من النقاط الرئيسية والقناع في وجهات النظر البانورامية لتعويض نقص تنوع وجهات النظر في أي مجموعة بيانات موجودة حاليًا. تظهر النتائج التجريبية أننا ضمن أفضل التقنيات على مجموعتي البيانات 3DPW و3DPW-Crowd من حيث دقة تقدير الوضع. يتفوق الطريقة المقترحة بوضوح على Mesh Transformer و3DCrowdNet وROMP من حيث دقة تقدير الشكل. كما تم تحقيق أفضل الأداء على SSP-3D من حيث دقة التنبؤ بالشكل. سيتم توفير العرض التوضيحي والكود في https://igame-lab.github.io/LASOR/.