HyperAIHyperAI

Command Palette

Search for a command to run...

NeuriCam: IoTカメラ用のキーフレーム動画スーパーレゾリューションとカラライズ

Veluri Bandhav ; Pernu Collin ; Saffari Ali ; Smith Joshua ; Taylor Michael ; Gollakota Shyamnath

概要

私たちはNeuriCamを提案します。これは、低消費電力のデュアルモードIoTカメラシステムからビデオを取得するための新しい深層学習ベースのシステムです。私たちのアイデアは、最初のモードが低消費電力(1.1 mW)であるが、グレースケール、低解像度、ノイジーなビデオしか出力できないデュアルモードカメラシステムを設計することです。一方、第二のモードは消費電力が大幅に高い(100 mW)ですが、カラーで高解像度の画像を出力できます。総エネルギー消費量を削減するために、高出力モードは1秒に1回だけ画像を出力するように頻繁にスイッチングされます。このカメラシステムからのデータは無線で近隣にあるプラグインゲートウェイに送信され、そこでリアルタイムのニューラルネットワークデコーダーを実行して高解像度のカラー映像を再構築します。これを達成するために、特徴マップと入力フレームの各空間位置でのコンテンツ間の相関に基づいて異なる特徴に異なる重みを割り当てる注意特徴フィルタ機構を導入しました。私たちは市販のカメラを使用して無線ハードウェアプロトタイプを設計し、パケットロスや視点不一致などの実際的な問題に対処しました。評価結果では、私たちのデュアルカメラアプローチは既存システムと比較してエネルギー消費量を7倍削減することが示されました。さらに、私たちのモデルは以前の単一およびデュアルカメラビデオスーパーレゾリューション手法に対して平均3.7 dBのグレースケールPSNR向上と、以前の色伝播手法に対して5.6 dBのRGB向上を達成しています。オープンソースコード: https://github.com/vb000/NeuriCam.


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています