NeuriCam : Super-résolution et colorisation de vidéos par images clés pour caméras IoT

Nous présentons NeuriCam, un système innovant basé sur l'apprentissage profond pour réaliser la capture vidéo à partir de systèmes de caméras IoT bimodes à faible consommation énergétique. Notre concept consiste à concevoir un système de caméra bimode où le premier mode est à faible puissance (1,1 mW) mais ne produit que des vidéos en niveaux de gris, à faible résolution et bruyantes, tandis que le second mode consomme beaucoup plus d'énergie (100 mW) mais génère des images en couleur et à haute résolution. Pour réduire la consommation énergétique totale, nous activons fortement le mode haute puissance afin qu'il produise une image uniquement une fois par seconde. Les données de ce système de caméra sont ensuite transmises sans fil vers une passerelle branchée à proximité, où nous exécutons notre décodeur neuronal en temps réel pour reconstruire une vidéo en couleur et à haute résolution. Pour atteindre cet objectif, nous introduisons un mécanisme de filtrage des caractéristiques d'attention qui attribue différents poids aux différentes caractéristiques, en fonction de la corrélation entre la carte des caractéristiques et le contenu du cadre d'entrée à chaque position spatiale. Nous concevons un prototype matériel sans fil utilisant des caméras standard et abordons les problèmes pratiques tels que la perte de paquets et le désaccord de perspective. Nos évaluations montrent que notre approche bicaméra réduit la consommation énergétique par rapport aux systèmes existants dans un facteur 7. De plus, notre modèle réalise un gain moyen de PSNR en niveaux de gris de 3,7 dB par rapport aux méthodes précédentes de super-résolution vidéo monocaméra ou bicaméra, ainsi qu'un gain moyen RGB de 5,6 dB par rapport aux méthodes précédentes de propagation des couleurs. Code open source : https://github.com/vb000/NeuriCam.