8日前

画像復元のためのデュアルドメインストリップアテンション

{Alois Knoll, Yuning Cui}
要約

画像復元は、劣化した観測画像から潜在的な高品質な画像を再構成することを目的としている。近年、自己注意(self-attention)機構を用いたTransformerの導入により、長距離依存関係を効果的にモデル化できるという強力な特性を活かし、さまざまな画像復元タスクにおいて、最先端の性能が達成されている。しかし、自己注意の計算量が二次関数的であるという点が、実用化を阻む要因となっている。また、クリーン画像と劣化画像のペア間に著しいスペクトル差が存在するため、その大きなスペクトル差を十分に活用することも、画像復元に有効である。本論文では、表現学習の強化を目的として、空間領域と周波数領域の両方で動作する二重ドメインストリップ注意機構(dual-domain strip attention mechanism)を提案する。この機構は、空間ストリップ注意ユニットと周波数ストリップ注意ユニットの二つから構成される。具体的には、空間ストリップ注意ユニットは、単純な畳み込みブランチによって学習された重みをもとに、各画素の隣接する同一行または同一列の位置から文脈情報を収集する。一方、周波数ストリップ注意ユニットは、周波数領域での特徴を、周波数分離と変調によって精緻化する。この処理は、単純なプーリング技術によって実装される。さらに、多スケール学習を強化するために、異なるストリップサイズを用いることで、さまざまなサイズの劣化を効果的に処理できる。異なる方向に二重ドメインの注意ユニットを配置することにより、各画素は拡張された領域からの情報を間接的に把握できる。以上の特徴を統合した、提案する二重ドメインストリップ注意ネットワーク(DSANet)は、画像の霞み除去(image dehazing)、雪除去(image desnowing)、ノイズ除去(image denoising)、焦点外ぼかしの復元(image defocus deblurring)の4つの画像復元タスクにおいて、12の異なるデータセットで最先端の性能を達成した。

画像復元のためのデュアルドメインストリップアテンション | 最新論文 | HyperAI超神経