Command Palette

Search for a command to run...

4ヶ月前

動的シーンのブレ除去のためのモーション認識型ダブルアテンションネットワーク

{Mehmet Yamac Dan Yang}

動的シーンのブレ除去のためのモーション認識型ダブルアテンションネットワーク

要約

動的シーンにおける運動ブラーの復元は、物体の運動やカメラの動きなど、一つまたは複数の要因によって引き起こされるブラーに対して、非常に困難な課題である。イベントカメラは明るさの変化を低遅延で検出できるため、運動に関する情報がイベントデータに本質的に含まれており、これは標準カメラ画像のブラー除去に非常に有効な情報を提供する。しかし、物体の深度や速度などの要因により、画像全体にわたりブラーの程度が一様ではない(非均一性を持つ)ことが一般的である。本研究では、高ブラー領域に特に注目する二本のブランチ構造を持つネットワーク、Motion Aware Double Attention Network(MADANet)を提案する。このネットワークでは、まずイベントデータを用いて「高ブラー領域セグメンテーションモジュール」が、カメラに対して相対的に高速に動いている領域に対して確率的なスコアを生成する。次に、イベントデータはネットワークのメイン部分の特徴マップに注入され、各ブランチに二重の注目メカニズム(アテンション機構)が導入される。イベントデータの効果的な利用と二段階のアテンション機構により、ネットワークは非常にコンパクトな構造を実現している。実験の結果、本手法はGoProから公開されたベンチマークデータセットにおいても最先端の性能を達成しただけでなく、新たに収集した2つのデータセットにおいても同様の優れた結果を示した。特に、そのうちの1つのデータセットには実際のイベントデータが含まれており、実用性と汎用性の高さが確認された。

ベンチマーク

ベンチマーク方法論指標
deblurring-on-goproMADANet
PSNR: 33.84
SSIM: 0.964
image-deblurring-on-goproMADANet
PSNR: 33.84
Params (M): 16.9
SSIM: 0.964

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
動的シーンのブレ除去のためのモーション認識型ダブルアテンションネットワーク | 論文 | HyperAI超神経