أنظمة رؤية عصبية فعالة تعتمد على اكتساب الصور المتقطعة

على الرغم من التقدم الكبير المحرز في التعلم العميق خلال السنوات الأخيرة، تظل الطرق المتقدمة مكثفة من حيث الحوسبة. ويتسبب التنازل بين الدقة ووقت الحوسبة واستهلاك الطاقة في تقييد استخدامها في التطبيقات الزمنية الحقيقية على الأنظمة منخفضة الطاقة وأنظمة أخرى محدودة الموارد. وفي هذه الورقة، نتناول هذا التحدي الجوهري من خلال تقديم تنفيذ هجين بصري-رقمي لشبكة عصبية متعددة الطبقات (CNN) تعتمد على هندسة دالة انتشار النقطة (PSF) لنظام تصوير بصري. يتم ذلك من خلال ترميز فتحة التصوير بحيث تُعيد تكرار دالة انتشار النقطة (PSF) لحجم نواة تConvolution كبيرة تخص الطبقة الأولى لشبكة CNN مُدرّبة مسبقًا. وبما أن عملية التConvolution تحدث في المجال البصري، فإنها تُنفَّذ دون أي تكلفة طاقية، وبدون تأخير (Latency) مهما كان حجم النواة. وأظهرت النتائج التجريبية على مجموعتي بيانات أن نهجنا يُقلل من التكلفة الحسابية بأكثر من مرتبةَيْن (أي أكثر من 100 مرة)، مع تحقيق دقة قريبة من أفضل النتائج الحالية في المجال، أو بشكل معادل، تحقيق دقة أفضل بنفس التكلفة الحسابية.