11日前
FF-Former:夜間フレア除去のためのSwin Fourier Transformer
{Zhezhu Jin, Xiangyu Kong, Xiaobing Wang, Guanqun Liu, Jia Ouyang, Dafeng Zhang}

要約
夜間のフラレ除去プロセスにおいて、フラレが画像の大部分、場合によっては全体にわたって広がる可能性があるため、広い受容field(受容領域)を持つことが極めて重要である。しかし、従来のウィンドウベースのTransformerアプローチは、受容領域をウィンドウ内に制限してしまうため、グローバルな特徴の捉え方に限界がある。また、フラレは暗部を明るくし、画像のコントラストを低下させ、周波数特性を変化させる。これらの課題に対処するため、本研究では高速フーリエ畳み込み(Fast Fourier Convolution: FFC)に基づくFF-Formerを提案する。このモデルは、夜間フラレ除去のためのグローバル周波数特徴を効果的に抽出することを目的として設計されている。具体的には、Swin Transformerの後に空間周波数ブロック(Spatial Frequency Block: SFB)を導入し、Swinフーリエトランスフォーマーブロック(Swin Fourier Transformer Block: SFTB)を構成する。この構成により、長距離依存関係の確立とグローバル特徴の抽出が可能となる。従来のTransformerがグローバル自己注意(self-attention)に依存するのに対し、SFBモジュールは畳み込み演算のみを実行するため、効果的かつ効率的な計算が実現できる。さらに、学習フェーズでは、夜間フラレ除去後の光源点を保持するように損失関数を最適化している。実世界データおよび合成データを用いた実験により、提案手法であるFF-Formerが夜間フラレ除去の性能を顕著に向上させることを確認した。