تقدير وضعية اليد والكائن التفاعلي عبر الانتباه الكثيف المتبادل

تقدير وضع اليد والكائن ثلاثي الأبعاد هو المفتاح لنجاح العديد من تطبيقات رؤية الحاسوب. يركز هذا المهمة بشكل أساسي على نمذجة التفاعل بين اليد والكائن بفعالية. لتحقيق هذا، تعتمد الأعمال السابقة إما على قيود التفاعل في عملية تحسين متكررة ومرهقة حسابياً، أو تأخذ بعين الاعتبار فقط ارتباطاً نادراً بين نقاط مرجعية مختارة لليد والكائن. في المقابل، نقترح آلية جديدة للانتباه المتبادل الكثيف قادرة على نمذجة الارتباطات الدقيقة بين اليد والكائن. تحديداً، نقوم أولاً ببناء الرسوم البيانية لليد والكائن وفقًا لهياكل الشبكة الخاصة بهما. لكل عقدة في رسومية اليد، نجمع الخصائص من كل عقدة في رسومية الكائن باستخدام الانتباه المتعلم، وبالعكس بالنسبة لكل عقدة في رسومية الكائن. بفضل هذا الانتباه المتبادل الكثيف، يمكن لطرقنا إنتاج وضعيات جسدية معقولة ذات جودة عالية وسرعة استدلال في الوقت الحقيقي. تظهر التجارب الكمية والنوعية الواسعة التي أجريت على مجموعات بيانات معيارية كبيرة أن طريقتنا تتفوق على أفضل الأساليب الحالية. الرمز البرمجي متاح على الرابط: https://github.com/rongakowang/DenseMutualAttention.git.