شبكية العين: تتبع العين بقوة منخفضة باستخدام كاميرا الأحداث وعتاد الإشارات المتقطعة

يقدم هذا البحث منهجية نورومورفية لتعقب العين، مستفيداً من بيانات الحدث النقية التي يتم التقاطها بواسطة كاميرا Dynamic Vision Sensor (DVS). يدمج الإطار عمل نموذج تحليل الانحدار Spiking Neuron Network (SNN) مدرب مباشرة ويستفيد من معالج حافة نورومورفي متقدم وقليل الاستهلاك للطاقة - Speck، بهدف تعزيز دقة وكفاءة أنظمة تعقب العين. أولاً، نقدم مجموعة بيانات ممثلة لتعقب العين بالاعتماد على الأحداث "Ini-30"، والتي تم جمعها باستخدام كاميرتين DVS مثبتتين على النظارات من ثلاثين متطوعًا. ثانياً، يتم وصف نموذج SNN يعتمد على خلايا العصب Integrate And Fire (IAF)، باسم "Retina" (شبكية العين)، والذي يتميز بوجود 64 ألف معلمة فقط (أقل بنسبة 6.63 مرة من الأحدث) ويحقق خطأ في تتبع القزحية يبلغ 3.24 بكسل في إدخال DVS بحجم 64x64. يتم الحصول على المخرجات المستمرة للتحليل الانحداري عن طريق التوافقي باستخدام مرشح زمني غير مُثير ذو بعد واحد (1D filter) ينزلق عبر الطبقة المُثيرة للمخرجات. أخيرًا، نقيم أداء Retina على المعالج النورومورفي، مما يظهر استهلاك طاقة إجمالي يتراوح بين 2.89-4.8 مليواط وتأخير يتراوح بين 5.57-8.01 مليثانية اعتمادًا على نافذة الزمن. كما قمنا بمقارنة نموذجنا مع أحدث طريقة تعقب العين بالاعتماد على الأحداث "3ET"، التي تم بناؤها باستخدام إطار الأحداث. تظهر النتائج أن Retina تحقق دقة أعلى بمقدار 1.24 بكسل أقل في خطأ مركز القزحية وتقليل التعقيد الحسابي بمقدار 35 مرة أقل من عدد العمليات MAC. نأمل أن يفتح هذا العمل الباب أمام المزيد من البحوث حول حلول النورومورفية الدائرية المغلقة والتدريب الحقيقي بالاعتماد على الأحداث لتحقيق أفضل أداء في الحواف.