شبكة عصبية تكرارية للتقدير الثلاثي الأبعاد للنظرة باستخدام مؤشرات المظهر والشكل

السلوك البصري هو دليل غير لفظي مهم في معالجة الإشارات الاجتماعية وتفاعل الإنسان مع الحاسوب. في هذا البحث، نعالج مشكلة تقدير النظر ثلاثي الأبعاد بشكل مستقل عن الشخص وموضع الرأس من كاميرات بعيدة باستخدام شبكة عصبية متكررة متعددة الأوضاع (CNN). نقترح دمج الوجه والمنطقة المحيطة بالعينين وعلامات الوجه كأطراف فردية في شبكة CNN لتقدير النظر في الصور الثابتة. ثم، نستغل الطبيعة الديناميكية للنظر بتغذية الخصائص المُتعلمة من جميع الإطارات في تسلسل إلى وحدة متكررة من نوع many-to-one تتنبأ بمتغير النظر ثلاثي الأبعاد للإطار الأخير. يتم تقييم حلنا الساكن المتعدد الأوضاع على نطاق واسع من موضع الرأس واتجاهات النظر، حيث حقق تحسينًا كبيرًا بنسبة 14.6% على أحدث ما تم التوصل إليه في مجموعة بيانات EYEDIAP، ويتحسن بنسبة إضافية 4% عند إضافة البعد الزمني.