画像復元のための効率的かつ明示的な画像階層構造モデリング

本稿の目的は、画像修復において、グローバル、リージョナル、ローカルの複数スケールにわたり、効率的かつ明示的に画像階層構造をモデル化するためのメカニズムを提案することである。これを実現するため、自然画像に見られる2つの重要な性質、すなわちスケール間の類似性（cross-scale similarity）と非等方性画像特徴（anisotropic image features）を分析する。この知見を基に、自己注意（self-attention）の空間的・時間的複雑さと、リージョナル範囲を超えるモデリング能力の間に良好なバランスを取る「アンカーストライプ自己注意（anchored stripe self-attention）」を提案する。さらに、アンカーストライプ自己注意、ウィンドウ自己注意、およびチャネル注意を強化した畳み込みを組み合わせることで、グローバル、リージョナル、ローカルの範囲にわたり画像階層を明示的にモデル化する新たなネットワークアーキテクチャ「GRL（Global-Regional-Local）」を設計した。最後に、提案手法を実画像および合成画像を含む7種類の画像修復タスクに適用した。その結果、複数のタスクにおいて新たなSOTA（State-of-the-art）を達成した。実装コードは、https://github.com/ofsoundof/GRL-Image-Restoration.git にて公開される予定である。