18日前

iiTransformer:画像復元における局所情報と非局所情報の統一的活用のためのアプローチ

{Tammy Lee, Hanul Shin, Youngchan Song, Soo Min Kang}
iiTransformer:画像復元における局所情報と非局所情報の統一的活用のためのアプローチ
要約

画像復元の目的は、劣化した入力から高品質な画像を復元することである。畳み込みニューラルネットワーク(CNN)を用いることで、さまざまな画像復元タスクにおいて優れた成果が得られているが、畳み込み演算は受容field(受容野)外の情報を活用する能力に制限がある。一方、自己注意機構(self-attention)を用いて入力の長距離依存関係をモデル化するトランスフォーマーは、さまざまな高レベル視覚タスクにおいて有望な結果を示している。本論文では、局所的および非局所的特徴相関を併用することの利点を考慮し、ピクセルレベルおよびパッチレベルで長距離依存関係を明示的にモデル化する「イントラ・インター・トランスフォーマー(iiTransformer)」を提案する。さらに、任意サイズの画像に対応できる境界アーティファクトのない解決策を提供する。広範な画像復元タスクにおける実験を通じて、iiTransformerが汎用的なバックボーンアーキテクチャとしての潜在能力を示した。