RT-GENE: تقدير اتجاه النظر في الزمن الفعلي في البيئات الطبيعية

في هذه الدراسة، نتناول مشكلة تقدير الاتجاه البصري المُتماسك في البيئات الطبيعية. يُعدّ التباعد الكبير بين الكاميرا والمشارك، بالإضافة إلى التغيرات العالية في وضعية الرأس واتجاهات النظر العيني، أمورًا شائعة في هذه البيئات. يؤدي ذلك إلى عجزين رئيسيين في الطرق الحديثة لتقدير الاتجاه البصري: أولًا، صعوبة في تعيين الاتجاه البصري الحقيقي (ground truth) بسبب التداخل الناتج عن العدسات، وثانيًا، تراجع دقة تقدير الاتجاه البصري مع انخفاض دقة الصورة نتيجة بعد المسافة. نُسجّل أولًا مجموعة بيانات جديدة تتضمن صورًا متنوعة للاتجاه البصري ووضعية الرأس في بيئة طبيعية، ونُعالج مشكلة تعيين الاتجاه البصري الحقيقي من خلال قياس وضعية الرأس باستخدام نظام التقاط الحركة (motion capture)، وقياس اتجاه النظر باستخدام نظارات تتبع العين المحمولة. نُطبّق تقنية إعادة تعبئة الصورة المعنوية (semantic image inpainting) على المنطقة المغطاة بالنظارات، بهدف تقليل الفجوة بين الصور المستخدمة في التدريب والاختبار من خلال إزالة تأثير العدسات المزعجة. كما نُقدّم خوارزمية جديدة تعمل في الوقت الفعلي، تعتمد على شبكات عصبية عميقة قائمة على المظهر (appearance-based deep convolutional neural networks) ذات قدرة مُعززة، لتتماشى مع تنوع الصور في مجموعة البيانات الجديدة. تمت إجراء تجارب على بنية الشبكة هذه على عدد من مجموعات بيانات الاتجاه البصري المتنوعة، بما في ذلك مجموعتنا الخاصة، وفي تقييمات متعددة بين المجموعات. ونُظهر أداءً يُعدّ من أفضل الأداءات الحالية من حيث دقة التقدير في جميع التجارب، كما تُظهر البنية أداءً جيدًا حتى على الصور ذات الدقة المنخفضة.