NeuriCam: Schlüsselbild-Videosuperauflösung und -kolorierung für IoT-Kameras

Wir präsentieren NeuriCam, ein neues System auf Basis von tiefem Lernen, das die Videoaufnahme von energieeffizienten Dual-Mode-IoT-Kamerasystemen ermöglicht. Unser Konzept besteht darin, ein Dual-Mode-Kamerasystem zu entwickeln, bei dem der erste Modus energieeffizient (1,1 mW) ist, aber nur graustufige, niedrige Auflösung und verrauschte Videos ausgibt. Der zweite Modus verbraucht dagegen deutlich mehr Energie (100 mW), erzeugt jedoch farbige und hochauflösende Bilder. Um den gesamten Energieverbrauch zu reduzieren, aktivieren wir den Hochleistungsmodus stark intermittierend und geben nur einmal pro Sekunde ein Bild aus. Die Daten dieses Kamerasystems werden dann drahtlos an eine in der Nähe befindliche Netzwerkgatewaystation übertragen, wo unser Echtzeit-Neuronales-Netzwerk-Dekoder zum Wiederaufbau eines hochauflösenden Farbvideos eingesetzt wird. Um dies zu erreichen, führen wir einen Aufmerksamkeitsfiltermechanismus ein, der je nach räumlicher Position unterschiedliche Gewichte für verschiedene Merkmale basierend auf der Korrelation zwischen der Merkmalskarte und dem Inhalt des Eingabebildes zuweist. Wir entwerfen ein drahtloses Hardwareprototypen unter Verwendung von Standardkameras und behandeln praktische Probleme wie Paketverlust und Perspektivverschiebung. Unsere Auswertungen zeigen, dass unser Dual-Kamera-Ansatz den Energieverbrauch im Vergleich zu bestehenden Systemen um das Siebenfache reduziert. Darüber hinaus erreicht unser Modell durchschnittlich eine Graustufen-PSNR-Zunahme von 3,7 dB gegenüber früheren mono- und Dual-Kamera-Videosuperresolution-Methoden sowie eine RGB-Zunahme von 5,6 dB gegenüber früheren Farbfortpflanzungsmethoden. Open-Source-Code: https://github.com/vb000/NeuriCam.