HandBooster: تعزيز إعادة بناء الشبكة ثلاثية الأبعاد لليد من خلال التركيب الشرطي وعينات التفاعلات بين اليد والكائنات

إعادة بناء الشبكة ثلاثية الأبعاد لليد من صورة واحدة بشكل قوي هو تحدي كبير للغاية، نظرًا لنقص التنوع في مجموعات البيانات الحقيقية الموجودة. رغم أن توليد البيانات يساعد في تخفيف هذه المشكلة، إلا أن الفجوة بين البيانات المصنعة والبيانات الحقيقية لا تزال تعوق استخدامها. في هذا البحث، نقدم HandBooster، وهي طريقة جديدة لتعزيز تنوع البيانات وتحسين أداء إعادة بناء الشبكة ثلاثية الأبعاد لليد من خلال تدريب فضاء إنشائي مشروط على التفاعلات بين اليد والأشياء واختيار عينات بيانات فعالة بقصد. أولاً، نقوم ببناء ظروف متعددة الاستخدامات وواعية للمحتوى لتوجيه نموذج الانتشار لإنتاج صور واقعية مع تنوع في مظهر اليد ومواقعها وزوايا النظر والخلفيات؛ وبشكل ملائم، يتم الحصول على شروح ثلاثية الأبعاد دقيقة مجانًا. ثم، نصمم خلقًا جديدًا للظروف يعتمد على استراتيجيات العينة التوزيعية الواعية بالتشابه لتحديد مواقع تفاعل جديدة وواقعية تختلف عن مجموعة التدريب. بمجرد تجهيزها بطريقة عملنا، يمكن تحسين العديد من النماذج الأساسية بشكل كبير وتخطي مستوى الحالة المتقدمة (SOTA) في مقاييس HO3D وDexYCB. سيتم إطلاق كودنا على https://github.com/hxwork/HandBooster_Pytorch.