NeuriCam: IoTカメラ用のキーフレーム動画スーパーレゾリューションとカラライズ

私たちはNeuriCamを提案します。これは、低消費電力のデュアルモードIoTカメラシステムからビデオを取得するための新しい深層学習ベースのシステムです。私たちのアイデアは、最初のモードが低消費電力（1.1 mW）であるが、グレースケール、低解像度、ノイジーなビデオしか出力できないデュアルモードカメラシステムを設計することです。一方、第二のモードは消費電力が大幅に高い（100 mW）ですが、カラーで高解像度の画像を出力できます。総エネルギー消費量を削減するために、高出力モードは1秒に1回だけ画像を出力するように頻繁にスイッチングされます。このカメラシステムからのデータは無線で近隣にあるプラグインゲートウェイに送信され、そこでリアルタイムのニューラルネットワークデコーダーを実行して高解像度のカラー映像を再構築します。これを達成するために、特徴マップと入力フレームの各空間位置でのコンテンツ間の相関に基づいて異なる特徴に異なる重みを割り当てる注意特徴フィルタ機構を導入しました。私たちは市販のカメラを使用して無線ハードウェアプロトタイプを設計し、パケットロスや視点不一致などの実際的な問題に対処しました。評価結果では、私たちのデュアルカメラアプローチは既存システムと比較してエネルギー消費量を7倍削減することが示されました。さらに、私たちのモデルは以前の単一およびデュアルカメラビデオスーパーレゾリューション手法に対して平均3.7 dBのグレースケールPSNR向上と、以前の色伝播手法に対して5.6 dBのRGB向上を達成しています。オープンソースコード: https://github.com/vb000/NeuriCam.