TinyTracker: رؤية حافة فائقة السرعة وفائقة منخفضة الطاقة داخل الحساس لتقدير التوجه البصري

تواجه مهام الرؤية الذكية على الحافة التحدي الحاسم المتمثل في ضمان الكفاءة في استهلاك الطاقة والتأخير، نظرًا للحمل الحسابي الثقيل الذي تفرضه عادةً على منصات الحافة. تُستخدم هذه الدراسة واحدة من أولى منصات الرؤية "ذكاء اصطناعي في المستشعر"، وهي IMX500 من شركة سوني، لتحقيق تطبيقات حافة للرؤية فائقة السرعة وفائقة الكفاءة من حيث استهلاك الطاقة. ونقوم بتقييم وحدة IMX500 ومقارنتها بمنصات حافة أخرى مثل Google Coral Dev Micro وSony Spresense، من خلال دراسة حالة لتقدير الاتجاه البصري (gaze estimation). ونُقدّم نموذج TinyTracker، وهو نموذج عالي الكفاءة ومُكمّل بالكامل باستخدام التكميم (fully quantized)، مُصمم لتقدير الاتجاه البصري ثنائي الأبعاد، بهدف تعظيم أداء أنظمة الرؤية على الحافة المدروسة في هذه الدراسة. ويحقق TinyTracker تقليلًا في الحجم بنسبة 41 مرة (600 كيلوبايت) مقارنةً بنموذج iTracker [1] دون فقدان كبير في دقة تقدير الاتجاه البصري (بحد أقصى 0.16 سم عند التكميم الكامل). وعند نشر TinyTracker على مستشعر الرؤية IMX500 من سوني، يُسجّل النظام مدة تأخير نهائية (end-to-end latency) تبلغ حوالي 19 مللي ثانية. حيث تستغرق الكاميرا حوالي 17.9 مللي ثانية لقراءة ومعالجة ونقل البكسلات إلى وحدة المعالجة المُسرّعة. وتستغرق عملية الاستنتاج (inference) للشبكة 0.86 مللي ثانية، مع إضافة 0.24 مللي ثانية لاسترجاع النتائج من المستشعر. ويبلغ الاستهلاك الكلي للطاقة في النظام النهائى 4.9 ميلي جول، منها 0.06 ميلي جول فقط مخصص لعملية الاستنتاج. وتُظهر الدراسة النهائية أن وحدة IMX500 أسرع بنسبة 1.7 مرة من CoralMicro (19 مللي ثانية مقابل 34.4 مللي ثانية)، وأكثر كفاءة من حيث استهلاك الطاقة بنسبة 7 أضعاف (4.9 ميلي جول مقابل 34.2 ميلي جول).