Command Palette
Search for a command to run...
NeuriCam: تحسين دقة الفيديو وإضفاء الألوان على الإطارات الرئيسية للكاميرات الذكية إنترنت الأشياء
NeuriCam: تحسين دقة الفيديو وإضفاء الألوان على الإطارات الرئيسية للكاميرات الذكية إنترنت الأشياء
Veluri Bandhav ; Pernu Collin ; Saffari Ali ; Smith Joshua ; Taylor Michael ; Gollakota Shyamnath
الملخص
نقدم نظام NeuriCam، وهو نظام جديد يستند إلى التعلم العميق لتحقيق التقاط الفيديو من أنظمة الكاميرات ذات الوضعين والطاقة المنخفضة للإنترنت الأشياء (IoT). فكرتنا هي تصميم نظام كاميرا ذو وضعين، حيث يكون الوضع الأول بطاقة منخفضة (1.1 ميليواط) ولكنه ينتج فيديو بالأبيض والأسود وبدقة منخفضة ومليئًا بالضوضاء، بينما يستهلك الوضع الثاني طاقة أعلى بكثير (100 ميليواط) ولكنه ينتج صورًا ملونة وبدقة أعلى. لتخفيض الاستهلاك الإجمالي للطاقة، نقوم بتقليل استخدام الوضع ذي الطاقة العالية بشكل كبير بحيث يتم إنتاج صورة مرة واحدة كل ثانية فقط. ثم يتم إرسال بيانات هذا النظام الكاميري لاسلكيًا إلى بوابة قريبة متصلة بالكهرباء، حيث نشغل شبكتنا العصبية المُفككة في الوقت الحقيقي لإعادة بناء فيديو ملون بدقة أعلى. لتحقيق ذلك، نقدم آلية مرشح خصائص الانتباه التي تُعيِّن أوزانًا مختلفة للخصائص بناءً على العلاقة بين خريطة الخصائص ومحتويات الإطار الدخلي في كل موقع فضائي. نصمم نموذجًا أوليًا لجهاز لاسلكي باستخدام كاميرات جاهزة ونتناول القضايا العملية مثل فقدان الحزم وخَلل المنظور. تظهر تقييماتنا أن نهج الكاميرا المزدوج لدينا يقلل من استهلاك الطاقة بمقدار 7 أضعاف مقارنة بأنظمة التقاط الفيديو الحالية. بالإضافة إلى ذلك، فإن نموذجنا يحقق زيادة متوسطة في نسبة الإشارة إلى الضوضاء للأبيض والأسود (PSNR) بمقدار 3.7 ديسيبل عن الأساليب السابقة لأنظمة التقاط الفيديو بدقة عالية باستخدام كاميرات واحدة أو مزدوجة، وزِيادة بمقدار 5.6 ديسيبل في الصور الملونة (RGB) عن أساليب انتشار اللون السابقة. الرمز المصدري المفتوح: https://github.com/vb000/NeuriCam.