17日前

Stripformer:高速画像のぼかし除去のためのストリップTransformer

Fu-Jen Tsai, Yan-Tsung Peng, Yen-Yu Lin, Chung-Chi Tsai, Chia-Wen Lin
Stripformer:高速画像のぼかし除去のためのストリップTransformer
要約

動的シーンで撮影された画像には、望ましくない運動ブラーが含まれることがあり、これが視覚品質を著しく低下させる。このようなブラーは、しばしば方向性があり非一様な短距離および長距離の領域特有の平滑化アーティファクトを引き起こし、除去が困難である。近年のトランスフォーマーがコンピュータビジョンおよび画像処理タスクにおいて達成した成功に着想を得て、本研究では、水平方向および垂直方向に沿って画像特徴を再重み付けすることで、異なる方向性を持つブラーパターンを捉えるための、インター・ストリップおよびイントラ・ストリップトークンを構成するトランスフォーマー基盤アーキテクチャ「Stripformer」を提案する。このモデルは、交互に配置されたイントラ・ストリップおよびインター・ストリップアテンション層を積層することで、ブラーの強度(マグニチュード)を明確に可視化する。さらに、さまざまな方向性および強度の領域特有のブラーパターンを検出できるだけでなく、トークン効率およびパラメータ効率に優れたトランスフォーマーモデルとしても機能しており、従来のトランスフォーマーに比べてメモリ使用量と計算コストを大幅に削減しつつ、膨大な訓練データに依存せずに優れた性能を発揮する。実験結果から、Stripformerは動的シーンのデブラー処理において、最先端のモデルと比較しても優れた性能を示すことが明らかになった。

Stripformer:高速画像のぼかし除去のためのストリップTransformer | 最新論文 | HyperAI超神経