Gaze360: تقدير التوجيه الجسدي غير المقيد في البيئة الطبيعية

فهم مكان نظر الشخص يُعد مؤشراً اجتماعياً مفيداً. في هذا العمل، نقدّم Gaze360، وهو مجموعة بيانات واسعة النطاق لرصد اتجاه النظر، بالإضافة إلى طريقة لتقدير اتجاه النظر ثلاثي الأبعاد بشكل موثوق في الصور غير المقيدة. تتكون مجموعتنا من 238 مشاركاً في بيئات داخلية وخارجية، مع تسمية اتجاه النظر ثلاثي الأبعاد عبر مجموعة واسعة من وضعيات الرأس والمسافات. وهي أكبر مجموعة بيانات متاحة علناً من نوعها من حيث عدد المشاركين والتنوع، وذلك بفضل طريقة جمع بسيطة وفعّالة. يُعد النموذج ثلاثي الأبعاد الذي نقترحه توسعاً للنماذج الحالية، حيث يُضفي معلومات زمنية ويُخرِج مباشرةً تقديرًا لدرجة عدم اليقين في اتجاه النظر. نُظهر فوائد نموذجنا من خلال دراسة تحليلية (أبلاسيون)، ونُظهر قدرته على التعميم من خلال تقييم عابر لمجموعات البيانات مقارنةً ببيانات معيارية حديثة أخرى لرصد النظر. بالإضافة إلى ذلك، نقترح نهجاً بسيطاً مبنياً على التعلم الذاتي (self-supervised) لتحسين التكيّف بين المجالات عبر مجموعات البيانات. وأخيراً، نُظهر تطبيقاً لنموذجنا في تقدير انتباه العملاء في بيئة سوبرماركت. تتوفر مجموعتنا ونماذجنا عبر الرابط: http://gaze360.csail.mit.edu.