H2O: تلاعب اليدين بالأشياء للتفاعل الشخصي الأول التعرف

نقدم إطارًا شاملًا لتحديد التفاعلات الذاتية المركزية باستخدام تسميات ثلاثية الأبعاد بدون علامات لمدي يديّ الشخص المتفاعل مع الأشياء. لهذا الغرض، نقترح طريقة لإنشاء مجموعة بيانات موحدة لتحديد التفاعلات الثلاثية الأبعاد الذاتية المركزية. تنتج هذه الطريقة تسميات للوضع ثلاثي الأبعاد لكلتا اليدين والوضع الستة أبعاد للأجسام التي يتم التلاعب بها، بالإضافة إلى تصنيفات التفاعل لكل إطار. تُعرف مجموعتنا من البيانات باسم H2O (2 Hands and Objects) وتوفّر صور RGB-D متزامنة متعددة الزوايا، وتصنيفات التفاعل، وأصناف الأجسام، والأوضاع الحقيقية ثلاثية الأبعاد لكلتا اليدين اليمنى واليسرى، والأوضاع الستة أبعاد للأجسام، والأوضاع الحقيقية للكاميرات، وشبكات الأجسام وسحابات نقاط المشهد. حسب علمنا، هذا هو أول معيار يمكّن دراسة الأفعال من وجهة نظر الشخص الأول باستخدام وضع كلتي اليدين اليمنى واليسرى أثناء التلاعب بالأجسام ويقدّم مستوى غير مسبوق من التفاصيل لتحديد التفاعلات الثلاثية الأبعاد الذاتية المركزية. كما نقترح طريقة لتوقع تصنيفات التفاعل من خلال تقدير الوضع ثلاثي الأبعاد لكلتا اليدين والوضع الستة أبعاد للأجسام التي يتم التلاعب بها بشكل مشترك من صور RGB. تعتمد هذه الطريقة على نموذج العلاقات بين اليدين والأجسام وكذا داخل كل واحدة منها عن طريق تعلم بنية شبكة انتقال الرسوم البيانية التي تتوقع التفاعلات. نوضح أن طرقنا المدعومة بهذه المجموعة من البيانات تؤسس قاعدة قوية لتقدير وضع اليدين والأجسام المشترك وتحقّق دقة رائدة في مجال تحديد التفاعلات الذاتية المركزية من وجهة نظر الشخص الأول.