ContactDB: تحليل وتوقع الاتصال بالملامسة باستخدام التصوير الحراري

الإمساك والتحكم في الأشياء هو مهارة بشرية مهمة. نظرًا لأن الاتصال بين اليد والشيء هو أساس الإمساك، فإن التقاط هذا الاتصال يمكن أن يؤدي إلى رؤى مهمة. ومع ذلك، فإن مراقبة الاتصال من خلال المستشعرات الخارجية أمر صعب بسبب التعتيم وتعقيد يد الإنسان. نقدم ContactDB، وهو مجموعة بيانات جديدة تحتوي على خرائط اتصال لأشياء منزلية تلتقط الاتصال الغني الذي يحدث أثناء الإمساك، مما تمكّن من استخدام كاميرا حرارية. شارك في دراستنا أشخاص قاموا بالإمساك بأجسام مطبوعة ثلاثيًا بنيت بعد الإمساك بوظيفة عملية. تتضمن ContactDB 3750 شبكة ثلاثية الأبعاد لـ 50 جسمًا منزليًا ملساء بخرائط اتصال و375 ألف إطار من الصور المتزامنة RGB-D+حرارية. حسب علمنا، هذه هي أول مجموعة بيانات كبيرة تسجل خرائط اتصال مفصلة للإمساكات البشرية. تحليل هذه البيانات يظهر تأثير النية الوظيفية وحجم الجسم على الإمساك، والميل إلى لمس/تجنب "المناطق النشطة" (active areas)، وتكرار اللمس العالي للكف والأصابع القريبة. أخيرًا، نقوم بتدريب خوارزميات الترجمة الصورية وأخوارزميات التجعيد الثلاثي الأبعاد الأكثر تقدمًا لتوقع أنماط اتصال متنوعة من شكل الجسم. يمكن الوصول إلى البيانات والرموز والنماذج عبر الرابط: https://contactdb.cc.gatech.edu.