ArtiBoost: تعزيز تقدير وضعية اليد والكائن ثلاثي الأبعاد من خلال الاستكشاف والتركيب عبر الإنترنت

تقدير وضعية اليد والكائن المرتبطة ثلاثي الأبعاد من صورة واحدة باللون والضوء (RGB) هو مشكلة غامضة ومعقدة للغاية، تتطلب مجموعات بيانات كبيرة الحجم تحتوي على أوضاع يد متنوعة، وأنواع كائنات مختلفة، وزوايا كاميرات متعددة. ومع ذلك، فإن معظم المجموعات البيانات الحقيقية تفتقر إلى هذه التنوعات. بخلاف ذلك، يمكن للبيانات المصنعة أن تضمن تلك التنوعات بشكل منفصل بسهولة. ومع ذلك، لا يزال بناء التفاعلات بين اليد والكائن بشكل صحيح ومتنوع وكفاءة التعلم من البيانات المصنعة الواسعة تحديًا. لمعالجة القضايا المذكورة أعلاه، نقترح ArtiBoost، وهو طريقة خفيفة لتعزيز البيانات عبر الإنترنت. يمكن لـ ArtiBoost تغطية أوضاع اليد والكائن المختلفة وزوايا الكاميرا من خلال العين في فضاء التكوين المركب وزاوية الرؤية (CCV-space)، ويمكنه تحسين العناصر الصعبة التمييز بشكل متكيف بواسطة رد فعل الخسارة وإعادة وزن العينات. يقوم ArtiBoost بالاستكشاف والتوليف البديل للبيانات داخل خط أنابيب التعلم، وتتم دمج تلك البيانات المصنعة في بيانات المصدر الحقيقية لتدريب النماذج. نطبق ArtiBoost على شبكة تعلم أساسية بسيطة ونشهد زيادة الأداء في عدة مقاييس لوضعية اليد والكائن. يمكن الوصول إلى نماذجنا وكودنا عبر الرابط:https://github.com/lixiny/ArtiBoost.