ContactPose: مجموعة بيانات تحتوي على معلومات عن الإمساك ب الأجسام ووضعية اليد

الإمساك طبيعة بشرية. ومع ذلك، يتضمن هذا الإمساك تكوينات معقدة لليد وتشوه الأنسجة الرخوة، مما يمكن أن يؤدي إلى مناطق اتصال معقدة بين اليد والكائن. فهم وتوفيق هذا الاتصال قد يحسن النماذج اليدوية، ويُحسِّن تجارب الواقع المعزز والواقع الافتراضي (AR/VR)، ويعزز الإمساك الروبوتيكي. ومع ذلك، نفتقر حاليًا إلى قواعد بيانات تربط بين اتصالات اليد والكائن وأنماط البيانات الأخرى، وهي ضرورية لتطوير وتقييم تقنيات توفيق الاتصال. نقدم ContactPose، أول قاعدة بيانات تربط بين اتصالات اليد والكائن وموضع اليد وموضع الكائن وصور RGB-D. تحتوي ContactPose على 2306 إمساك فريد لـ 25 كائناً من أشياء المنزل تم إمساكها بنيتين وظيفيتين من قبل 50 مشاركاً، وأكثر من 2.9 مليون صورة إمساك RGB-D. يكشف تحليل بيانات ContactPose عن علاقات مثيرة للاهتمام بين موضع اليد والاتصال. نستخدم هذه البيانات لتقييم دقيق لأنواع مختلفة من تمثيلات البيانات، والأدلة المستفادة من الأدب العلمي، وطرق التعلم لتوفيق الاتصال. يمكن الوصول إلى البيانات والشفرة البرمجية والنماذج المدربة عبر الرابط: https://contactpose.cc.gatech.edu.