منذ 17 أيام
RITnet: التجزئة الدلالية في الوقت الفعلي للعين لتتبع التوجيه
Aayush K.Chaudhary, Rakshit Kothari, Manoj Acharya, Shusil Dangi, Nitinraj Nair, Reynold Bailey, Christopher Kanan, Gabriel Diaz, Jeff B. Pelz
الملخص
يمكن أن يُحسّن التجزئة الدقيقة للعين تقدير اتجاه النظر ويدعم الحوسبة التفاعلية القائمة على الانتباه البصري؛ ومع ذلك، تعاني الطرق الحالية لتجزئة العين من مشكلات مثل الدقة المعتمدة على الشخص، ونقص المرونة، وعدم القدرة على التشغيل في الوقت الفعلي. في هذا العمل، نقدّم نموذج RITnet، وهو شبكة عصبية عميقة تدمج بين U-Net وDenseNet. يبلغ حجم نموذج RITnet أقل من 1 ميغابايت، ويحقق دقة تبلغ 95.3٪ في مسابقة التجزئة الدلالية OpenEDS 2019. وباستخدام بطاقة NVIDIA GeForce GTX 1080 Ti، يمكن لنموذج RITnet تحقيق معدل تتبع يفوق 300 هيرتز، مما يمكّن من تطبيقات تتبع النظر في الوقت الفعلي. تتوفر النماذج المُدرّبة مسبقًا والكود المصدري عبر الرابط التالي: https://bitbucket.org/eye-ush/ritnet/.